Comments
Description
Transcript
当日配布資料（1.83MB）
実物体の見た目を変貌させる 映像投影技術 国立大学法人電気通信大学 大学院情報理工学研究科 総合情報学専攻 准教授 橋本 直己 1 研究背景（１） • プロジェクタを使った映像投影技術の進化 • 様々な場所での映像投影技術の応用 プレゼン、エンターテインメント、広告等 • ポータブルプロジェクタの登場 携帯電話等にも搭載 • しかし、投影可能な場所が制限されている • 平らで白色なスクリーンが必要 2 研究背景（２） もし、どこにでも自由に映像投影が可能ならば・・・ • 全ての実物体がスクリーン • 実物体の見かけを全くの別物に変更可能 • 実世界における新しい複合現実感技術 • ディスプレイやHMDを必要としない • 肉眼で体験できる しかし、そのまま投影することはやはり困難 壁への投影 机上への投影 衣服への投影 3 新技術の基となる研究成果・技術 【等身大仮想環境の構築技術】 マルチプロジェクション ディスプレイD-Vision エンターテインメント 凸面鏡を利用した 小型投影システム 作業シミュレーション 等身大可視化 4 実物体投影を難しくする要因 • プロジェクタの制御・モデル化が困難 • 実物体の色を打ち消す投影 • プロジェクタの入出力関係は非線形 事前計測が必要 • 投影面の反射特性の獲得 事前計測が必要 • 様々な実物体への投影は、さらに状況を複雑 化してしまう 5 プロジェクタのモデル化① • プロジェクタの入出力関係は非線形 • 投影面の観測だけでは 投影面 モデル化困難 反射率 非線形 プロジェクタ 位置 光の入射方向に依存 出力 非線形 入力 各投影画素毎に 特性が異なる 6 プロジェクタのモデル化② • プロジェクタ出力はγ特性に従う • 光源は一点＝基本特性は共通 投影面 任意点での光量 ＝基準点×配光特性 プロジェクタ 出力 非線形 入力 基準点における プロジェクタからの 出力光 7 プロジェクタモデルの獲得 プロジェクタ・カメラシステム（ProCams）を使って 以下を高速に獲得する 1. 基準点での応答特性（入出力関係）の獲得 2. 投影面上での配光特性（基準点に対する光量 比）の獲得 （特願2010-163336） さらに、投影フレーム毎に配光特性を再計測する ことで、投影対象面の変化に対応可能 8 実物体の色情報打ち消し 元画像 投影結果 投影 本手法による 補正画像 レンガ壁 に投影 投影結果 （下地色の影響除去） 投影 9 プロジェクタの応答特性 画像中から適切な入出力関係を選択して 粗いγ値 Γ特性の精度を高める。 高精度γ値 Off-line 推定結果 Off-line 推定結果 10 画素誤差（8bit） 画素誤差（8bit） 補正精度の比較 従来手法 Off-line補正 提案手法 補正無し 従来手法 Off-line補正 提案手法 補正無し 従来手法 Off-line補正 提案手法 画素誤差（8bit） 画素誤差（8bit） 補正無し 補正無し 従来手法 Off-line補正 提案手法 11 投影面反射率の推定結果 • レンガ模様の壁紙の反射率を推定 壁面の様子 反射率 出力０（黒投影）時 出力２５５（白投影）時 12 動いている対象への映像投影 • 動いている人物の色情報を打ち消す • 結果として人物を消し去る効果（光学迷彩） • 速い動きには遅延が生じる（影のような誤差） 動いている人物に追従して補正を実施 Naoki Hashimoto, Akio Watanabe, “Dynamic Luminance Correction for Colored Surfaces”, Proc. of ACM SIGGRAPH2011, Talk (2010). 時間軸 13 反射率変化の推定結果 人物の移動 時間軸 反射率 （推定値） 14 応用例：バーチャル着せ替えシステム • 多数の実物体反射 率を高速推定 • 物体領域の追跡 • 領域毎に独自な 映像投影 • 実在する人間の服 を自由に変更可能 中村卓磨，橋本直己，“実世界におけるバーチャル着せ替えシステム”， 映像情報メディア学会技術報告 ME2011-23，Vol.35，No.8，pp.89-92 (2011). 15 環境光変化への対応 • 室内環境光変化と投影輝度変化、投影面変化 を区分して推定 • 環境光の動的変化に対応 暗い室内での投影 照明を付けた後の投影 16 従来技術とその問題点 • 実物体上への映像投影技術 – 実物体の色情報を打ち消して、任意映像を投影 – 輝度補正、光学的補正 – 問題点： • 実物体の反射特性、プロジェクタの応答特性の 事前計測が必要（または暫定仮定値を使用） • 決められた実物体への投影しかできない 17 新技術の特徴・従来技術との比較 • プロジェクタの入出力特性（非線形）の事前計 測が不要となった。 • 投影先となる実物体の反射率等の特性の事 前計測が不要となった。 • 独立性が高い実装が可能なため、プロジェク タ装置への組み込みや、外部ユニットによる 実装等、自由度が高まった。 18 想定される用途 • ポータブルプロジェクタの利用範囲拡大 • 実物体上にＣＧ映像を重畳させる複合現実感 型映像提示 • 映画感、アトラクション、カラオケルーム等の 空間演出 光学迷彩？ • 室内デザイン、衣装フィッティング 等のシミュレーション • 組み立て作業時の教示システム • 全周囲透過映像提示（自動車等） 19 想定される業界 • 提案の性質上、多種多様の業種で利用可能 – – – – IT機器業界（プロジェクタ、携帯＋プロジェクタ） エンターテインメント業界（空間演出含む） 製造業界、建築業界（作業教示） ファッション業界（デザインシミュレーション） • 実装に必要な装置 プロジェクタ、ＰＣ、カメラ （専用小型ハードウェア、スマートフォン等でも可） 20 実用化に向けた課題 • 補正精度の向上 • プロジェクタ光量の増加 （マルチプロジェクタ） • 投影遅延の低減 – プロジェクタの応答速度の高速化 – 投影対象の動き予測 【応用範囲の拡張】 • 歪み補正機能（別途研究中） • 実物体の識別、追跡機能（別途研究中） 21 企業への期待 • 実践的なアプリケーション応用 – 例）プロジェクタへの組み込み、カラオケBox演 出、 デザインプロトタイピング • 共同研究による機能拡張 – 高応答・高輝度・高解像度プロジェクタおよびカメ ラの開発が可能になると、さらなる機能向上が期 待できる。 – スマートフォンへの実装技術の共同開発にも興 味がある。 22 本技術に関する知的財産権 • 発明の名称 ：プロジェクタ装置、映像信 号補正装置、映像信号補正 方法及びプログラム • 出願番号 ：特願2010-163336 • 出願人 ：電気通信大学 • 発明者 ：橋本直己、渡邉暁 23 お問い合わせ先 国立大学法人 電気通信大学 産学連携コーディネーター 小島珠世 ＴＥＬ ０４２－４４３－５７８０ ＦＡＸ ０４２－４４３－５１０８ e-mail [email protected] 24