対話システムライブコンペティション４

更新履歴

第5回対話ライブコンペティションを開催します． 詳細は こちら

対話システムライブコンペティションとは？

  • 対話システムライブコンペティションとは，オーディエンスの前で実際に対話システムを動作させ，評価を行うイベントです．

  • 対話システムシンポジウムでは，特別セッションとして，これまで対話破綻検出チャレンジを開催してきました．対話破綻検出チャレンジは，2017年に，対話システムシンポジウムを離れ，国際イベントとなりました．
  • 対話破綻検出チャレンジのデータは，対話研究への参入を容易にしたり，現状の対話システムの問題点を明らかにしたりすることに役立ってきたと考えています．
  • しかし，その一方で，固定の対話コーパスに対してアルゴリズムを競う形式であるために，対話のライブ要素があまり検討されてこなかったという問題点もありました．

  • そこで，一昨年から，よりライブ性の高いイベントを行うことにより，対話システムにおけるよりリアルな難しさや面白さをシンポジウム参加者全員で共有できるようなイベントを始めました．
  • それが「 対話システムライブコンペティション（ライブコンペ）」です．
  • ライブコンペ１の模様についてはこちら，ライブコンペ２の模様についてはこちら，ライブコンペ３の模様については こちらをご覧ください．
  • また，過去３回のライブコンペについては以下の解説記事もぜひご参照ください．
  • 東中 竜一郎，船越 孝太郎，高橋 哲朗，稲葉 通将，角森 唯子，赤間 怜奈，宇佐美 まゆみ，川端 良子，水上 雅博，小室 允人，ドルサ テヨルス，「対話システムライブコンペティション3」，SIG-SLUD，B5-02，96 - 103, 2021．

本コンペの概要

  • 本コンペでは，参加者は，各トラックにおいて雑談対話システム（非タスク指向型対話システム）の開発を行い，複数の参加者間で，その出来栄えを競い合います．
  • 本コンペは，予選と対話システムシンポジウム内でのライブイベントから構成されます．
  • 予選では，クラウドソーシングの作業者が，開発された対話システムの評価を行います．
  • ライブイベントでは，予選で好成績を収めたシステムとシンポジウム参加者が対話し，その状況を対話システムシンポジウムの参加者全員で鑑賞・評価します．

  • オープントラックは任意の話題について（すなわち，オープンドメインで）ユーザと雑談を行う能力を競います．
  • シチュエーショントラックでは，オープンな雑談とは異なり，所定のシチュエーションの中で状況にあった人らしい対話を行う能力を競います．
  • シチュエーショントラックは，対人関係やTPOを踏まえた高度な対話システムの実現の第一歩となることを狙いとしています．
  • コンペ参加者は，いずれかのトラック，もしくは，両方のトラックにご参加いただけますが，同じトラックに複数のシステムをエントリすることはできません．
  • 各トラックの概要については， オープントラック および シチュエーショントラック のページをご覧ください．

スケジュール

  • 2021年10月11日：エントリ〆切
  • 2021年10月12日：スクリーニングおよびクラウドソーシングを用いた予選
  • 2021年10月20日：予選の結果通知
  • 2021年10月22日：発表申し込み
  • 2021年11月上旬：原稿締切
  • 2021年11月29 または 30日：ライブイベント本番（対話システムシンポジウム内）

エントリについて

    開発いただくシステム

  • 開発いただくシステムのタイプは，「雑談対話システム（非タスク指向型対話システム）」です．
  • 対話システムの作成にあたっては，インスタントメッセージシステムTelegram上で動作するボットを作成していただきます．
  • ボットは， オープントラック および シチュエーショントラック それぞれに記載されているシステム仕様の要件を満たす必要があります．
  • ボットの作成方法については， Getting Started をご覧ください．

    エントリ方法

  • こちらのフォーム よりエントリください．
  • エントリには，下記の情報が必要です．
  • 必要事項
  • ・チーム名（半角英数字のみ使用可）
  • ・Telegram ボット名
    　 ※BotFatherの「How are we going to call it? Please choose a name for your bot.」に対して入力した値
    　 ※半角英数字のみ使用可
  • ・Telegram ボットのusername
    　 ※BotFatherの「Now let's choose a username for your bot. It must end in `bot`. Like this, for example: TetrisBot or tetris_bot.」に対して入力した値
    　 ※半角英数字のみ使用可で，最後はbotで終わる名前（例：TetrisBot や tetris_bot）
  • ・代表者のお名前
  • ・代表者のメールアドレス
  • ・代表者の所属
  • ・ボット概要（任意）

オーガナイザ

  • 東中竜一郎（名古屋大）
  • 船越孝太郎（東工大）
  • 稲葉通将（電気通信大）
  • 高橋哲朗（富士通）
  • 宇佐美まゆみ（国語研）
  • 西川寛之（明海大）
  • ドルサ・テヨルス（東工大）
  • 小室允人（千葉大）
  • 赤間怜奈（東北大）
  • 佐藤志貴（東北大）
  • 堀内颯太（名古屋大）
  • 連絡先： dialog-system-live-competition-ml[at]googlegroups.com

謝辞

  • 本イベントは，人工知能学会 言語・音声理解と対話処理研究会（SLUD）が主催しています．
  • また，本イベントは，人工知能学会より助成を受けております．

Link