Comments
Description
Transcript
Kickoff Eventのスライド
NTCIR-12 MobileClick-2 モバイル情報検索タスク 加藤 誠(京都大学) Virgil Pavlu (Northeastern University) 酒井 哲也(早稲田大学) 山本 岳洋(京都大学) 2 "NTCIR" NTCIRとは? あなたの検索スコア クリック数: 2 検索時間: 00:31 3 "NTCIR" NTCIRの締切は いつ? あなたの検索スコア クリック数: 2 検索時間: 00:29 4 5 6 "NTCIR" NTCIRとは? Home | NTCIR The NTCIR Workshop is a series of evaluation workshops designed to enhance research in information access technologies including information retrieval, summarization, extraction, question answering, etc. あなたの検索スコア クリック数: 0 NTCIR-12 検索時間: 00:03 Held on June 9(Tue)-12(Fri), 2016 at National Center of Sciences, Tokyo, Japan NTCIR-12 News NTCIR-12 Schedule NTCIR-12 Tasks 7 "NTCIR" NTCIR-12 Schedule NTCIRの締切は いつ? 20/Jan./2016: Task Registration Due 06/Jan./2016: Document Set Release Home | NTCIRDry Run Jan.-May/2016: Mar.-July/2016: The NTCIR Workshop is aFormal series Run of evaluation workshops designed to enhance research in Due 01/Aug./2016: Evaluation Results information access technologies including 01/Aug./2016: Task overview release information retrieval, summarization, extraction, 15/Sep./2016: Paper submission Due question answering, etc. 01/Nov./2016: All paper Due NTCIR-12 09-12/Dec./2016: NTCIR-11 Conference Held on June 9(Tue)-12(Fri), 2016 at National Center of Sciences, Tokyo, Japan あなたの検索スコア クリック数: 1 検索時間: 00:15 NTCIR-12 News NTCIR-12 Schedule NTCIR-12 Tasks 8 "NTCIR" NTCIR-11 Schedule When is the deadline of NTCIR? http://research.nii.ac.jp/ntcir/schedule 20/Jan./2014: Task Registration Due Home | NTCIR MobileClickの目標 06/Jan./2014: Document Set Release Jan.-May/2014: Dry Run Mar.-July/2014: Formal Run http://research.nii.ac.jp/ntcir/ The NTCIR Workshop is aResults series of evaluation 01/Aug./2014: Evaluation Due workshops designed to enhance research in 01/Aug./2014: Early draft Task overview release information access technologies including 15/Sep./2014: Draft summarization, paper submission Due information retrieval, extraction, question answering, etc. 01/Nov./2014: All camera-ready paper Due モバイルユーザが Clicks: 1 必要な情報へ直接・即時に Time: 00:15 アクセスできるようにすること Your Search Score 09-12/Dec./2014: NTCIR-11 Conference NTCIR-11 http://research.nii.ac.jp/ntcir/ Held on December 9(Tue)-12(Fri), 2014 at National Center of Sciences, Tokyo, Japan NTCIR-11 News http://research.nii.ac.jp/ntcir/news NTCIR-11 Schedule http://research.nii.ac.jp/ntcir/schedule NTCIR-11 Tasks http://research.nii.ac.jp/ntcir/tasks 9 "NTCIR" NTCIR-11 Schedule MobileClick-1との違い When is the deadline of NTCIR? http://research.nii.ac.jp/ntcir/schedule 20/Jan./2014: Task Registration Due 06/Jan./2014: Document Set Release Home | NTCIR Jan.-May/2014: Dry Run • 日英で2種類のサブタスク Your Search Score • iUnitsを提供(抽出不要) Clicks: 1 • 速やかなフィードバック Time: 00:15 • リーダーボード • クエリ頻度の提供(予定) Mar.-July/2014: Formal Run http://research.nii.ac.jp/ntcir/ The NTCIR Workshop is aResults series of evaluation 01/Aug./2014: Evaluation Due workshops designed to enhance research in 01/Aug./2014: Early draft Task overview release information access technologies including 15/Sep./2014: Draft summarization, paper submission Due information retrieval, extraction, question answering, etc. 01/Nov./2014: All camera-ready paper Due 09-12/Dec./2014: NTCIR-11 Conference NTCIR-11 http://research.nii.ac.jp/ntcir/ Held on December 9(Tue)-12(Fri), 2014 at National Center of Sciences, Tokyo, Japan NTCIR-11 News http://research.nii.ac.jp/ntcir/news NTCIR-11 Schedule http://research.nii.ac.jp/ntcir/schedule NTCIR-11 Tasks http://research.nii.ac.jp/ntcir/tasks 10 iUnit Rankingサブタスク • クエリとiUnit集合が与えられたとき iUnitを推定された重要度順にランキング 注: iUnitはクエリ対して適合する情報の断片 Input: Query Output: iUnit list NTCIR Input: iUnit set iUnit 1 評価ワークショップ iUnit 2 2016年6月20⽇が参加登録締切 評価ワークショップ 3 情報アクセス技術研究の促進が目的 情報アクセス技術研究の促進が目的 2016年6月20⽇が参加登録締切 nDCG 0.5 …… 研究課題 ⽂書ではなく⽂字列の重要度を推定 11 iUnit Summarizationサブタスク • クエリ,iUnit集合,サブトピックが与えられたとき 2層の要約を生成 Input: Query NTCIR Input: iUnit set iUnit 評価ワークショップ 情報アクセス技術研究の促進が目的 … Input: Subtopics Subtopics ニュース スケジュール … Output: Two-layered summary NTCIRは情報検索・要 約・抽出,質問応答な どの情報アクセス技術 研究を促進するために デザインされた評価 ワークショップです. ニュース スケジュール タスク モバイル情報アクセス のために設計された 評価指標 M-measure 2nd layer 20/Jan./2016: Task Registration Due 06/Jan./2016: Document Set Release Jan.-May/2016: Dry Run Mar.-July/2016: Formal Run 01/Aug./2016: Evaluation Results Due 01/Aug./2016: Task overview release 15/Sep./2016: Paper submission Due 01/Nov./2016: All paper Due 09-12/Dec./2016: NTCIR-11 Conference 0.5 研究課題 どのユーザも即材に満足できるように iUnitを配置(IMineタスクに類似) 12 リーダーボードシステム Q. いつ評価結果が⾒られますか? A. システム出⼒を投稿したらすぐ⾒られます 結果が出た 投稿 リーダーボード すごい 結果だ! フィードバック • 2015年4月より訓練クエリ用評価システム公開 • 2015年8月よりテストクエリ用評価システム公開 13 以下に当てはまる方はぜひ参加を検討ください • 以下のトピックに興味がある方 – – – – – – モバイル情報アクセス 意図推定 多様化 要約 質問応答 ナゲットベース評価 • 以下のタスクの参加者の皆様 – 1CLICKタスク – INTENT,IMineタスク – RITEタスク 14 MobileClick-2スケジュール 月 イベント 2015年4月 CFP第1段 訓練クエリ用評価システム公開 2015年6月 参加登録締切 2015年8月 テストクエリ公開 テストクエリ用評価システム公開 2015年12月 システム結果投稿締切 2016年3月 参加者論⽂投稿締切 2016年6月 NTCIR-12 Conference 15 "NTCIR" MobileClick-2 NTCIR-11 Schedule When is the deadline of NTCIR? http://research.nii.ac.jp/ntcir/schedule 20/Jan./2014: Task Registration Due 06/Jan./2014: Document Set Release 無駄のない高速な Your Search Score モバイル情報アクセスを実現 Home | NTCIR Jan.-May/2014: Dry Run Mar.-July/2014: Formal Run http://research.nii.ac.jp/ntcir/ The NTCIR Workshop is aResults series of evaluation 01/Aug./2014: Evaluation Due workshops designed to enhance research in 01/Aug./2014: Early draft Task overview release information access technologies including 15/Sep./2014: Draft summarization, paper submission Due information retrieval, extraction, question answering, etc. 01/Nov./2014: All camera-ready paper Due Clicks: 1 2015年4月 Time: 00:15 09-12/Dec./2014: NTCIR-11 Conference NTCIR-11 http://www.mobileclick.org/ http://research.nii.ac.jp/ntcir/ Held on December 9(Tue)-12(Fri), 2014 at National Center of Sciences, Tokyo, Japan NTCIR-11 News で訓練用評価システム公開予定 http://research.nii.ac.jp/ntcir/news 2015年8月 - 2015年12月 NTCIR-11 Schedule http://research.nii.ac.jp/ntcir/schedule NTCIR-11 Tasks リアルタイム評価実施 http://research.nii.ac.jp/ntcir/tasks 16