対話システムライブコンペティション３

更新履歴

2020年11月30日,12月1日に開催された第11回対話システムシンポジウム(SLUD-90)において 対話システムライブコンペティションが盛況のうちに終わりました． ご参加いただきありがとうございました．
結果および当日の模様（スライドや動画等）はこちらからご確認ください．
photo1 photo3 photo3

対話システムライブコンペティションとは？

  • 対話システムライブコンペティションとは，オーディエンスの前で実際に対話システムを動作させ，評価を行うイベントです．

  • 対話システムシンポジウムでは，特別セッションとして，これまで対話破綻検出チャレンジを開催してきました．対話破綻検出チャレンジは，2017年に，対話システムシンポジウムを離れ，国際イベントとなりました．
  • 対話破綻検出チャレンジのデータは，対話研究への参入を容易にしたり，現状の対話システムの問題点を明らかにしたりすることに役立ってきたと考えています．
  • しかし，その一方で，固定の対話コーパスに対してアルゴリズムを競う形式であるために，対話のライブ要素があまり検討されてこなかったという問題点もありました．

  • そこで，昨年から，よりライブ性の高いイベントを行うことにより，対話システムにおけるよりリアルな難しさや面白さをシンポジウム参加者全員で共有できるようなイベントを始めました．
  • それが「対話システムライブコンペティション（ライブコンペ）」です．
  • ライブコンペ１の模様についてはこちら，ライブコンペ２の模様についてはこちらをご覧ください．
    • photo1 photo3 photo3
  • また，過去２回のライブコンペについては以下の解説記事もぜひご参照ください．
  • 東中竜一郎，船越孝太郎，稲葉通将，角森唯子，高橋哲朗，赤間怜奈，宇佐美まゆみ，川端良子，水上雅博，「対話システムライブコンペティションから何が得られたか」，人工知能，35，2020．

本コンペの概要

  • 本コンペでは，参加者は，各トラックにおいて雑談対話システム（非タスク指向型対話システム）の開発を行い，複数の参加者間で，その出来栄えを競い合います．
  • 本コンペは，予選と対話システムシンポジウム内でのライブイベントから構成されます．
  • 予選では，クラウドソーシングの作業者が，開発された対話システムの評価を行います．
  • ライブイベントでは，予選で好成績を収めたシステムとシンポジウム参加者が対話し，その状況を対話システムシンポジウムの参加者全員で鑑賞・評価します．

  • オープントラックは任意の話題について（すなわち，オープンドメインで）ユーザと雑談を行う能力を競います．
  • シチュエーショントラックでは，オープンな雑談とは異なり，所定のシチュエーションの中で状況にあった人らしい対話を行う能力を競います．
  • シチュエーショントラックは，対人関係やTPOを踏まえた高度な対話システムの実現の第一歩となることを狙いとしています．
  • コンペ参加者は，いずれかのトラック，もしくは，両方のトラックにご参加いただけますが，同じトラックに複数のシステムをエントリすることはできません．
  • 各トラックの概要については，オープントラックおよびシチュエーショントラックのページをご覧ください．

スケジュール

  • 2020年10月12日：エントリ〆切
  • 2020年10月14日：スクリーニングおよびクラウドソーシングを用いた予選開始
  • 2020年10月21日：予選の結果通知
  • 2020年10月23日：発表申込み締切
  • 2020年10月30日：原稿締切
  • 2020年11月30日または12月1日：ライブイベント本番（対話システムシンポジウム内）

    • エントリについて

      開発いただくシステム

    • 開発いただくシステムのタイプは，「雑談対話システム（非タスク指向型対話システム）」です．
    • 対話システムの作成にあたっては，インスタントメッセージシステムTelegram上で動作するボットを作成していただきます．
    • ボットは，オープントラックおよびシチュエーショントラックそれぞれに記載されているシステム仕様の要件を満たす必要があります．
    • ボットの作成方法については，Getting Startedをご覧ください．

      エントリ方法

    • こちらのフォームよりエントリください．
    • エントリには，下記の情報が必要です．
    • 必要事項
    • ・チーム名（半角英数字のみ使用可）
    • ・Telegram ボット名
      　 ※BotFatherの「How are we going to call it? Please choose a name for your bot.」に対して入力した値
      　 ※半角英数字のみ使用可
    • ・Telegram ボットのusername
      　 ※BotFatherの「Now let's choose a username for your bot. It must end in `bot`. Like this, for example: TetrisBot or tetris_bot.」に対して入力した値
      　 ※半角英数字のみ使用可で，最後はbotで終わる名前（例：TetrisBot や tetris_bot
    • ・代表者のお名前
    • ・代表者のメールアドレス
    • ・代表者の所属
    • ・ボット概要（任意）

    オーガナイザ

    • 東中竜一郎（NTT）
    • 船越孝太郎（京大）
    • 稲葉通将（電気通信大）
    • 角森唯子（NTTドコモ）
    • 高橋哲朗（富士通）
    • 赤間怜奈（東北大）
    • 宇佐美まゆみ（国語研）
    • 川端良子（国語研）
    • 水上雅博（NTT）
    • 小室允人（千葉大）
    • ドルサ・テヨルス（東工大）
    • 連絡先： dialog-system-live-competition-ml[at]googlegroups.com

    謝辞

    • 本イベントは，人工知能学会 言語・音声理解と対話処理研究会（SLUD）が主催しています．
    • また，本イベントは，人工知能学会より助成を受けております．

    Link