Kickoff Eventのスライド

NTCIR-12 MobileClick-2
モバイル情報検索タスク
加藤 誠（京都大学）
Virgil Pavlu (Northeastern University)
酒井 哲也（早稲田大学）
山本 岳洋（京都大学）
2
"NTCIR"
NTCIRとは?
あなたの検索スコア
クリック数: 2
検索時間: 00:31
3
"NTCIR"
NTCIRの締切は
いつ?
あなたの検索スコア
クリック数: 2
検索時間: 00:29
4
5
6
"NTCIR"
NTCIRとは?
Home | NTCIR
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
あなたの検索スコア
クリック数: 0
NTCIR-12
検索時間: 00:03
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, Japan
NTCIR-12 News
NTCIR-12 Schedule
NTCIR-12 Tasks
7
"NTCIR"
NTCIR-12 Schedule
NTCIRの締切は
いつ?
20/Jan./2016:
Task Registration Due
06/Jan./2016:
Document Set Release
Home | NTCIRDry Run
Jan.-May/2016:
Mar.-July/2016:
The NTCIR Workshop is aFormal
series Run
of evaluation
workshops designed to enhance
research
in Due
01/Aug./2016:
Evaluation
Results
information access technologies
including
01/Aug./2016:
Task overview
release
information retrieval, summarization, extraction,
15/Sep./2016:
Paper submission Due
question answering, etc.
01/Nov./2016:
All paper Due
NTCIR-12
09-12/Dec./2016:
NTCIR-11 Conference
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, Japan
あなたの検索スコア
クリック数: 1
検索時間: 00:15
NTCIR-12 News
NTCIR-12 Schedule
NTCIR-12 Tasks
8
"NTCIR"
NTCIR-11 Schedule
When is
the deadline
of NTCIR?
http://research.nii.ac.jp/ntcir/schedule
20/Jan./2014:
Task Registration Due
Home | NTCIR
MobileClickの目標
06/Jan./2014:
Document Set Release
Jan.-May/2014: Dry Run
Mar.-July/2014:
Formal Run
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop
is aResults
series of
evaluation
01/Aug./2014:
Evaluation
Due
workshops designed to enhance research in
01/Aug./2014: Early draft Task overview release
information access technologies including
15/Sep./2014:
Draft summarization,
paper submission
Due
information retrieval,
extraction,
question answering,
etc.
01/Nov./2014:
All camera-ready
paper Due
モバイルユーザが
Clicks: 1
必要な情報へ直接・即時に
Time: 00:15
アクセスできるようにすること
Your Search Score
09-12/Dec./2014: NTCIR-11 Conference
NTCIR-11
http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News
http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
http://research.nii.ac.jp/ntcir/tasks
9
"NTCIR"
NTCIR-11 Schedule
MobileClick-1との違い
When is
the deadline
of NTCIR?
http://research.nii.ac.jp/ntcir/schedule
20/Jan./2014:
Task Registration Due
06/Jan./2014:
Document Set Release
Home | NTCIR
Jan.-May/2014: Dry Run
• 日英で2種類のサブタスク
Your Search Score
• iUnitsを提供（抽出不要）
Clicks: 1
• 速やかなフィードバック
Time: 00:15
• リーダーボード
• クエリ頻度の提供（予定）
Mar.-July/2014:
Formal Run
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop
is aResults
series of
evaluation
01/Aug./2014:
Evaluation
Due
workshops designed to enhance research in
01/Aug./2014: Early draft Task overview release
information access technologies including
15/Sep./2014:
Draft summarization,
paper submission
Due
information retrieval,
extraction,
question answering,
etc.
01/Nov./2014:
All camera-ready
paper Due
09-12/Dec./2014: NTCIR-11 Conference
NTCIR-11
http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News
http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
http://research.nii.ac.jp/ntcir/tasks
10
iUnit Rankingサブタスク
• クエリとiUnit集合が与えられたとき
iUnitを推定された重要度順にランキング
注: iUnitはクエリ対して適合する情報の断片
Input: Query
Output: iUnit list
NTCIR
Input: iUnit set
iUnit
1 評価ワークショップ
iUnit
2 2016年6月20⽇が参加登録締切
評価ワークショップ
3 情報アクセス技術研究の促進が目的
情報アクセス技術研究の促進が目的
2016年6月20⽇が参加登録締切
nDCG
0.5
……
研究課題
⽂書ではなく⽂字列の重要度を推定
11
iUnit Summarizationサブタスク
• クエリ，iUnit集合，サブトピックが与えられたとき
2層の要約を生成
Input: Query
NTCIR
Input: iUnit set
iUnit
評価ワークショップ
情報アクセス技術研究の促進が目的
…
Input: Subtopics
Subtopics
ニュース
スケジュール
…
Output: Two-layered summary
NTCIRは情報検索・要
約・抽出，質問応答な
どの情報アクセス技術
研究を促進するために
デザインされた評価
ワークショップです．
ニュース
スケジュール
タスク
モバイル情報アクセス
のために設計された
評価指標
M-measure
2nd layer
20/Jan./2016:
Task Registration Due
06/Jan./2016:
Document Set Release
Jan.-May/2016:
Dry Run
Mar.-July/2016:
Formal Run
01/Aug./2016:
Evaluation Results Due
01/Aug./2016:
Task overview release
15/Sep./2016:
Paper submission Due
01/Nov./2016:
All paper Due
09-12/Dec./2016:
NTCIR-11 Conference
0.5
研究課題
どのユーザも即材に満足できるように
iUnitを配置（IMineタスクに類似）
12
リーダーボードシステム
Q. いつ評価結果が⾒られますか？
A. システム出⼒を投稿したらすぐ⾒られます
結果が出た
投稿
リーダーボード
すごい
結果だ！
フィードバック
• 2015年4月より訓練クエリ用評価システム公開
• 2015年8月よりテストクエリ用評価システム公開
13
以下に当てはまる方はぜひ参加を検討ください
• 以下のトピックに興味がある方
–
–
–
–
–
–
モバイル情報アクセス
意図推定
多様化
要約
質問応答
ナゲットベース評価
• 以下のタスクの参加者の皆様
– 1CLICKタスク
– INTENT，IMineタスク
– RITEタスク
14
MobileClick-2スケジュール
月
イベント
2015年4月
CFP第1段
訓練クエリ用評価システム公開
2015年6月
参加登録締切
2015年8月
テストクエリ公開
テストクエリ用評価システム公開
2015年12月 システム結果投稿締切
2016年3月
参加者論⽂投稿締切
2016年6月
NTCIR-12 Conference
15
"NTCIR"
MobileClick-2
NTCIR-11 Schedule
When is
the deadline
of NTCIR?
http://research.nii.ac.jp/ntcir/schedule
20/Jan./2014:
Task Registration Due
06/Jan./2014:
Document Set Release
無駄のない高速な
Your Search Score
モバイル情報アクセスを実現
Home | NTCIR
Jan.-May/2014: Dry Run
Mar.-July/2014:
Formal Run
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop
is aResults
series of
evaluation
01/Aug./2014:
Evaluation
Due
workshops designed to enhance research in
01/Aug./2014: Early draft Task overview release
information access technologies including
15/Sep./2014:
Draft summarization,
paper submission
Due
information retrieval,
extraction,
question answering,
etc.
01/Nov./2014:
All camera-ready
paper Due
Clicks: 1
2015年4月
Time: 00:15
09-12/Dec./2014: NTCIR-11 Conference
NTCIR-11
http://www.mobileclick.org/
http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News
で訓練用評価システム公開予定
http://research.nii.ac.jp/ntcir/news
2015年8月 - 2015年12月
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
リアルタイム評価実施
http://research.nii.ac.jp/ntcir/tasks
16