画面上で大きさが分かる 実寸写真と実寸動画

画面上で大きさが分かる
実寸写真と実寸動画
金沢大学
理工研究域 電子情報学系
教授 佐藤 賢二
1
背景①
・多くのモバイルデバイスにカメラが搭載されている
・テキストに加えて写真や動画が重要なコンテンツに
・写ったモノの大きさは曖昧にしか理解されていない
2
背景②
・ＰＣ等で写真や動画を拡大・縮小することは容易
・被写体が実際どのくらい大きいかは分からない
3
従来技術とその問題点①
写真測量の概念自体は古くからあり、モバイル
デバイスを利用して手軽に行う技術やアプリも
幾つか報告されている。
問題点：
仮想定規
RoomRuler
・正面からの撮影や、
ユーザによる空間情
報の入力が必要。
・画面上での実寸表
示に対応していない
ので、大きさを実感で
きない。
4
従来技術とその問題点②
最近では多くのＩＣＴ企業が３Ｄ空間情報の取り
込みと利用に注力している。
・Microsoft の Kinect
・Intel の RealSense
・Google の Tango プロジェクト
問題点：
・画面上での実寸表示に対応していないので、
大きさを実感できない。
5
新技術の特徴・従来技術との比較
• クレジットカードなどの身近な基準物を高精度に
認識することにより、斜めから撮影しても正面画
像に変換し、実寸で表示できる。
• 撮影した写真に基準物の認識情報を付加するこ
とにより、任意のデバイスにおけるWebブラウザ
上で実寸表示できる（写真を通して大きさを伝え
ることができる）。
• 動画中の座標を指定して実寸表示できる。
• 実寸表示にフォーカスした従来技術は殆ど無い。
6
技術の詳細（写真編）
基準物
基準物の認識
透視投影変換
同一平面
比較による測定
実寸表示
対象物
仮想的な定規
仮想的な定規
7
技術の詳細（写真編）
• 角が丸いものも認識可
能
• 最小二乗法により修正
8
技術の詳細（写真編）
基準物が小さく写っている場合に誤差が大きく
なる問題を、基準物認識の精度向上により緩和
9
技術の詳細（写真編）
・iOSアプリとして実装
・デバイスの大きさをユーザ指定するだけで、任意
の大きさのデバイスで実寸表示可能（測量も可能）
対象物
基準物
実寸表示
10
技術の詳細（写真流通編）
写真のExif領域に基準物の認識結果を埋め込む
ことにより、Webサーバにアップロードした写真を
任意のデバイスで実寸表示できる。
ランチを撮影
Exifを付加
してアッ
プロード
実寸
表示
11
技術の詳細（動画編）
深度センサを用いて動画の各フレームの深度
情報を得ることにより、動画内の指定座標や
オブジェクトを画面上で実寸表示できる。




Kinect for Windows v2
Windows 8.1
Visual Studio 2013
C++
座標指定等
カラー画像
Kinect
深度情報
プ
ロ
グ
ラ
ム
カラー画像
（実寸）
12
技術の詳細（動画編）
子画面
（原画像）
実寸表示
距離が変わっても手の
大きさが変わらない（
実寸で表示し続ける）。
現在は座標指定と手
の認識のみ対応。
13
想定される用途
• 【写真と共有に関して】インターネットショッピン
グ、グルメサイト、写真共有サイト、電子百科辞
典、電子博物館、釣り大会、陶磁器などの発注
と打ち合わせ、子供の成長記録、農産物や水産
物のインターネット直販、医療応用など。
• 【動画に関して】人物やボール等を実寸表示し
たり、同じ大きさで表示し続ける業務用TVカメラ
や個人用ビデオカメラ。
14
実用化に向けた課題
• 研究用のプロトタイプまでは開発済みだが、実
用的なレベルに達するには以下の点を解決す
る必要がある。
基準物認識精度の向上
インタフェースや各種便利機能の実装
Kinect以外の深度センサへの対応
OSに依存しないコーディング（HTML5等）
処理の高速化
15
企業への期待
• 「実寸表示できる」という新しい切り口を生かし
たサービスやソフト開発、デバイス開発の提
案および共同研究を希望している。
ＳＮＳ
ショッピング
通信サービス
教育
放送
記録
16
本技術に関する知的財産権
• 発明の名称：実物大画像生成プログラム、
実物大画像生成装置、及び、実物大画像
生成方法
• 出願番号 ：特願2015-098643
• 出願人
：金沢大学
• 発明者
：佐藤賢二、橋本祐、久保守
17
お問い合わせ先
金沢大学ティ・エル・オー
ライセンシング アソシエイト 木下 邦則
ＴＥＬ
076-264-6115
ＦＡＸ
076-234-4018
e-mail [email protected]
18