Page 1 2012/11/19 1 ©2012 戸田 真志 eラーニング推進機構e

2012/11/19
第141回
スケッチインタフェースを核とし
た未整理映像検索
① 大量の未整理映像へのアクセス
－ 「こんな感じ」で検索
確かこんな感じ？？
昔,こんなの
見たなぁー
イメージ
② 映像想起とスケッチ表現
－ 予備実験結果を中心に
キーワードでは表現しにく
い特徴もクエリ化できる
キーワード等である程度
絞り込まれた映像
スケッチ化
ユーザはスケッチで映像を表現
④ 検索結果例
③ 提案システムの概要
－ 移動物体領域の推定
⑤ おまけ（戸田の自己紹介）
－ 特徴抽出(形状/動き)、マッチング
eラーニング推進機構eラーニング授業設計支援室
©2012 戸田 真志
ランチョンセミナー
1
未整理映像に対する情報アクセス
犬・ボール・遊ぶ・・・??
＋
犬・ボール・遊ぶ・・・??
＋
※ http://www.youtube.com
1
2012/11/19
映像情報爆発
巷には映像が溢れている
• 大量の画像・映像が蓄積されている
– デジタルカメラや携帯電話などの撮影機材の小型化 / 低価格化
– 記憶装置の小型化 / 大容量化 / 低価格化
– 「ハレ」（記念記録）のメディアから「ケ」（日常記録）のメディアへ
• カメラは最も身近で手軽な記録装置
• 個人でも大量の画像・映像を容易に記録・保存可能
– 無編集な未整理映像
映像情報爆発
巷には映像が溢れている
• 映像の流通も盛ん
– YouTube、ニコニコ動画などの動画共有サイトの利用は日常
– 閲覧のみならず、投稿も
• 大量の蓄積された映像情報を検索
– キーワードを設定しにくい
– キーワードだけでは絞り込めない
2
2012/11/19
キーワード検索はツカエナイ
• YouTubeの場合
– 「犬」「ボール」「遊び」 約3,580件
– 「猫」「ジャンプ」 3,580件
• ニコニコ動画の場合
– 「犬」「ボール」「遊び」 70件
– 「猫」「ジャンプ」 452件
• 目的の映像を見つける為に、
全て映像に目を通す！？
映像検索の問題点
キーワード検索
一般的な検索
（YouTube等）
- シーンを表現し切れ
ない
特徴量による検索
特徴量の
直接設定
類似映像
- 予め映像を保有
- 新規作成の場合
コスト高
- 映像の内容に依存
- うまく設定できない
場合も
クエリの設定方法を考える必要がある
3
2012/11/19
ユーザの「イメージ」をクエリ化
• キーワードだけではアクセスが困難な
動画にアクセスする
• ユーザのイメージ / 記憶 / 心象をそのまま
表現し、クエリとして利用する
手書きスケッチ
手描きスケッチをクエリとした
映像検索システム
• ユーザのイメージ/映像想起をスケッチ表現
確かこんな感じ？？
昔,こんなの
見たなぁー
イメージ
キーワードでは
表現しにくい特徴も
スケッチ化
クエリ化できる
キーワードで
検索された映像
スケッチで検索だー！
ユーザはスケッチで映像を表現
目的の映像を
絞り込むことができる
4
2012/11/19
では、どんなスケッチを描く？
• 映像を視聴後、内容を絵で説明してもらう実験（実験条件の
詳細は割愛）
では、どんなスケッチを描く？
5
2012/11/19
では、どんなスケッチを描く？
• 4コマ漫画風にシーンを分割して描画
• 1枚の絵に複数シーンを重畳
• 映像自体を説明するような
描画（映像を再構成する）
ではどんなスケッチを描く？
• 主たる対象以外のものも描く
• 形状や動きはデフォルメ
されるケースもある
• その他の表現（擬態語など）
6
2012/11/19
ではどんなスケッチを描く？
• デフォルメ画
– 棒人間
– へのへのもへじ
• オブジェクトの簡略化
– 円で代用
では、どんなスケッチを描く？
• 映像の描画の仕方にはいくつかのパターンがある
–
–
–
–
特徴的なシーン/全体を1枚画として記述
複数コマに分けて、漫画調に記述
特徴的な代表画像を緻密に
再構成 / 意味を説明
• 対象はデフォルメされて描かれる
• 動きは矢印や動線で描画されることが多い
– 他の表現もある
• 主たる対象以外も描かれる
– 特徴ある背景や色、模様など
7
2012/11/19
注目する表現
• 1枚の絵で表現
• 物体の動きを矢印で
• 印象的な背景
提案手法の概要
• 「物体の形状」「物体の動き」「背景形状」を用いた映像検索
検索クエリ
検索対象動画
３つの特徴量
背景の形状
物体の形状
物体の動き
検索ランキングの作成
8
2012/11/19
提案手法の概要
提案手法の概要
9
2012/11/19
移動物体候補領域の推定
小領域ごとにそれぞれのベクトルを比較
OpticalFlow
(BlockMatchig法)
•候補領域
ロバスト推定法
（LMedS）
候補領域の条件（AND）
1. 2つのMVの方向と大きさが一致
しない
2. 上下左右のいずれかに類似した
MVが存在
カメラによる背景の動き
10
2012/11/19
移動物体候補領域の推定
移動物体領域の決定
• 前フレーム中の移動物体領域をテンプレートとして、現フレー
ム中の移動物体候補領域に対してマッチング処理
11
2012/11/19
特徴抽出
• 物体形状、動き、背景形状を抽出する
映像の特徴量
物体形状特徴量 Fm
動き特徴量 Vm
•フレーム画
像
•移動物体領
域
背景形状特徴量 Bm
•背景領域
形状特徴
• エッジ画素を用いて特徴量抽出を行う
12
2012/11/19
大橋らの形状特徴量



画像全体のエッジの位置関係を256次元のヒストグラム化
描画位置、大きさに不偏
移動物体と背景、それぞれの領域ごとに、各フレームで特徴量を
求める
 Fm ＝ ｛Fm1，Fm2，…，Fmi｝
 Bm = {Bm1, Bm2, …, Bmj}
大橋らのエッジ形状特徴量の計算
注目エッジ画素
その他のエッジ画素
次の画素へ
00000101 = 5
カウント
正規化
2値化
2進数⇒10進数
ヒストグラム
eラーニング推進機構eラーニング授業設計支援室
•※大橋，長島，望月，下平, “エッジ形状に基づいた手書きスケッチ画像検索”,
映像
ランチョンセミナー
25
メディア学会誌，Vol.56, No.4, pp.653-658(2002)
動き特徴量（Vm）


平均ベクトルの連続データ
カメラによる動きの影響を受けない
 Vm ＝｛Vm1, Vm2, …, Vmk｝
動き特徴
各フレームにおける平均ベクトル
・・・・・
①オプティカルフロー
②背景の動き
（ロバスト推定）
動き特徴量Vm
・・・・
①-②のベクトル差
平均ベクトル Vmk
13
2012/11/19
マッチング
（Ｃ＝0.5）
※ 経験的に決
定
映像とクエリ
の距離
動き特徴量
の距離
物体形状特徴量
の距離
背景形状特徴量
の距離
背景形状特徴量抽出
動き特徴量抽出
物体形状特徴量抽出
•クエリ例
形状特徴の距離
映像の形状特徴量 Fm
物体形状特徴量の距離ＤF
クエリの形状特徴量 Fq
Fm0
•k：ヒストグラムのビン数
•i：フレーム数
背景形状特徴量の距離ＤB
Fm1
k：ヒストグラムのビン数
j：フレーム数
※ 一つの物体に対してフレーム数分のヒストグラム特徴が
算出されるが、それらの中で距離が最小のものを採用する
最も近いもの
との距離を
採用
eラーニング推進機構eラーニング授業設計支援室
ランチョンセミナー
・・
・
FmI
28
14
2012/11/19
動き特徴の距離
・・・・・
一定ストロークで分割
動き特徴量Vm
・・・・
部分分割した動き特徴量Vmpart
・・・
動き特徴量Vq
DPマッチング
で比較
N：Vm もしくは Vmpart のデータ長
M：Vqのデータ長
ｗ：warping path
検索結果例
15
2012/11/19
検索結果例
1位
目的映像
2位
3位
クエリ
検索結果例
1位
2位
目的映像
3位
クエリ
16
2012/11/19
検索結果例
1位
2位
目的映像
3位
クエリ
（おまけ）戸田の自己紹介
•
•
•
•
•
1993年 東京大学工学部計数工学科卒業
1998年 北海道大学大学院電子情報工学専攻修了
1998年～2001年 セコム株式会社IS研究所
2001年～2012年 公立はこだて未来大学
2012年～
熊本大学総合情報基盤センター
• 専門
– コンピュータビジョン、画像計測
– ウェアラブルコンピューティング、生体計測
– 教育情報システム
17
2012/11/19
環境センシング
産業向け計測
海洋計測
ヒト・センシング
生体計測
インタラクション
アーカイブ/記録
ウェアラブル
生物計測
18