対話システムライブコンペティション2

- 更新履歴 -

2019年12月2-3日に開催された第10回対話システムシンポジウム(SLUD-87)において 対話システムライブコンペティションが盛況のうちに終わりました. ご参加いただきありがとうございました.
結果および当日の模様(スライドや動画等)はこちらからご確認ください.
photo1 photo3 photo3

対話システムライブコンペティションとは?


  • 対話システムライブコンペティションとは,オーディエンスの前で実際に対話システムを動作させ,評価を行うイベントです.

  • 対話システムシンポジウムでは,特別セッションとして,これまで対話破綻検出チャレンジを開催してきました.対話破綻検出チャレンジは,2017年に,対話システムシンポジウムを離れ,国際イベントとなりました.
  • 対話破綻検出チャレンジのデータは,対話研究への参入を容易にしたり,現状の対話システムの問題点を明らかにしたりすることに役立ってきたと考えています.
  • しかし,その一方で,固定の対話コーパスに対してアルゴリズムを競う形式であるために,対話のライブ要素があまり検討されてこなかったという問題点もありました.

  • そこで,昨年から,よりライブ性の高いイベントを行うことにより,対話システムにおけるよりリアルな難しさや面白さをシンポジウム参加者全員で共有できるようなイベントを始めました. それが「対話システムライブコンペティション(ライブコンペ)」です.
  • 昨年度のライブコンペ1の模様についてはこちらをご覧ください.

本コンペの概要


  • 本コンペでは,参加者は,各トラックにおいて雑談対話システム(非タスク指向型対話システム)の開発を行い,複数の参加者間で,その出来栄えを競い合います.
  • 本コンペは,予選と対話システムシンポジウム内でのライブイベントから構成されます.
  • 予選では,クラウドソーシングの作業者が,開発された対話システムの評価を行います.
  • ライブイベントでは,予選で好成績を収めたシステムとシンポジウム参加者が対話し,その状況を対話システムシンポジウムの参加者全員で鑑賞・評価します.

  • ライブコンペ2では,オープントラック(ライブコンペ1の実施内容)に加え,シチュエーショントラックを新たに設けています.
  • シチュエーショントラックは,より対話状況に特化した対話システムの実現を狙いとしています.
  • コンペ参加者は,いずれかのトラック,もしくは,両方のトラックにご参加いただけます.
  • 各トラックの概要については,オープントラックおよびシチュエーショントラックのページをご覧ください.

スケジュール


  • 2019年10月1日(火):エントリ〆切
  • 2019年10月5-11日(土~金):スクリーニングおよびクラウドソーシングを用いた予選
  • 2019年10月14日(月):予選の結果通知
  • 2019年10月18日(金):発表申し込み締切
  • 2019年11月1日(金):原稿締切(対話システムシンポジウムの締切に従います)
  • 2019年12月2-3日(月~火):ライブイベント本番(対話システムシンポジウム内で実施)
  • エントリについて


    開発いただくシステム

    • 開発いただくシステムのタイプは,「雑談対話システム(非タスク指向型対話システム)」です.
    • 対話システムの作成にあたっては,インスタントメッセージシステムTelegram上で動作するボットを作成していただきます.
    • ボットは,オープントラックおよびシチュエーショントラックそれぞれに記載されているシステム仕様の要件を満たす必要があります.
    • ボットの作成方法については,Getting Startedをご覧ください.

    エントリ方法

    • Google Formにてエントリいただきます.URLが確定次第,本サイトにてお知らせします.
    • チーム名(半角英数字のみ使用可)
    • Telegram ボット名
        ※BotFatherの「How are we going to call it? Please choose a name for your bot.」に対して入力した値
        ※半角英数字のみ使用可
    • Telegram ボットのusername
        ※BotFatherの「Now let's choose a username for your bot. It must end in `bot`. Like this, for example: TetrisBot or tetris_bot.」に対して入力した値
        ※半角英数字のみ使用可で,最後はbotで終わる名前(例:TetrisBot や tetris_bot
    • 代表者のお名前
    • 代表者のメールアドレス
    • 代表者の所属
    • ボット概要(任意)

      • ※ 複数の組織を横断してチームを結成しても構いません.

    オーガナイザ


  • 東中竜一郎(NTT)
  • 船越孝太郎(京大)
  • 稲葉通将(電気通信大)
  • 高橋哲朗(富士通)
  • 赤間怜奈(東北大)
  • 宇佐美まゆみ(国語研)
  • 川端良子(国語研)
  • 水上雅博(NTT)
  • 角森唯子(NTTドコモ)
    • 連絡先: dialog-system-live-competition-ml[at]googlegroups.com

    謝辞


    • 本イベントは,人工知能学会 言語・音声理解と対話処理研究会(SLUD)が主催しています.
    • また,本イベントは,人工知能学会より助成を受けております.

    Link


  • 対話システムライブコンペティション1
  • 対話破綻検出チャレンジ1
  • 対話破綻検出チャレンジ2
  • 対話破綻検出チャレンジ3
  • ConvAI2
  • WOCHAT