Comments
Description
Transcript
複合現実博物館のための反射色計測に基づく プロジェクタ投影テクスチャ
基礎論文 複合現実博物館のための反射色計測に基づく プロジェクタ投影テクスチャ 吉田 壮伸 堀井 千夏 佐藤 宏介 ¶½ ¶¾ ½ ! " # # $ # %" & # # # はじめに 近年，実世界と仮想現実感 ! さらに言えば同じ対象物体を用いても部位によっては " #$ 技術を融合することで，実世界により写実性，臨場感， 存在感を与えることができる複合現実感 !% " %& #$ 技術が注目され，様々な研究がなされている． % 環境を構築する方式の つに，コンピュータで作 成した画像などの情報をプロジェクタを用いて実世界 に提示するプロジェクション方式がある．従来，プロ ジェクタは単にプレゼンテーションのための表示装置 として用いられてきたが，最近は安価で高機能 !高輝 度，ネットワーク機能など$ な機種も登場してきてお り，複数のプロジェクタを用いた大規模表示装置など ますます利用用途が拡大されつつある ' ()． プロジェクション方式の % 環境は， % *+#!%*$ などを用いて構築する % 環境と比べ て，作業環境による制約条件が少なく，複数の人が同 時に % 環境を享受できる点でも優れている．これ までプロジェクション方式 % 技術としては，( 次元 形状データが既知である物体に対してテクスチャ画像 を投影し質感を付加するもの ', - .) や，あらかじめ 構築した対象物体の反射特性モデルを基にプロジェク タにより仮想光学環境を構築するもの '() などがある が，いずれも白色物体を対象 !スクリーン$ として用い ることを想定している点が汎用性の面で問題がある． ¶½ 大阪大学大学院基礎工学研究科 ¶¾ 摂南大学経営情報学部 ¶½ ¶¾ 照明の状況も異なるため，同じテクスチャ画像を投影 してもその際得られる質感は異なったものになり目的 とする効果は得られない．つまりコンピュータで生成 したテクスチャ画像等を対象物体に一方的に投影する のではなく，対象物体に応じて投影する画像を調節す る必要がある．また，色恒常性などの人間の視覚特性 を考慮することで，スクリーンの反射特性が異なって も人間にとって白色スクリーンに投影した場合と同じ ような色を知覚できるように補正を行う研究 '/) もあ るが，投影面全体に一様な補正を行っているのみであ り，投影光を局所制御可能であるというプロジェクタ の利点を生かせていない．そこで本稿では，こういっ たプロジェクタの利点を最大限に利用し，あらかじめ 対象物体の部位毎の反射特性を測定することで，それ に応じたテクスチャ画像を生成・投影する手法を提案 する．本稿で提案する手法は，% 技術を用いた文化 財の仮想的色修復に応用することを想定している．文 化財，特に絵画は，日光，湿気，紫外線あるいは経年 変化による顔料の剥落や風化による変色など様々な要 因から色彩が劣化してしまう．こういった絵画の修復 には高度な専門知識や技術および莫大な時間が必要と なるが，本稿で提案する手法を用いれば，絵画に直接 触れることなく，かつ短時間で色彩が劣化する前の状 態を再現することが可能である．この技術は複合現実 博物館 !%& # %0 " % 技術を用いた 博物館や美術館での新しい展示手法$ への応用が期待 できる． 日本バーチャルリアリティ学会論文誌 プロジェクタ光の分光分布，45 カメラの分光感度， 反射色計測に基づく投影光推定手法 人間の眼や撮像機器などの視覚系デバイスで観測 される物体色は，観測に用いるデバイスの分光感度 （+1 2#），環境光の分光分布（+1 ）および物体表面の分光反射率（+1 311）の特性によって決まる．プロジェクタを 用いてカラー光を投影し，目標とする物体色を再現し ようとする場合，理論的にはプロジェクタで投影可能 な最小領域単位で対象物体の分光反射率を計測すれば 投影すべき光を算出することは可能だが，計測にかか るコストを考えると実用的ではない．また，プロジェ クタ光は 45 の ( 自由度での制御しか出来ないた および対象物体の分光反射率から求まる ( 行 ( 列の 行列により，プロジェクタの入力量 ! $ を 表す空間が，45 カメラの出力量 ! $ を表 す空間に一次変換されることになる．ここで本研究で は，さらに平行移動も考慮に入れる．したがって，こ れらの空間変換を同次座標系で表現すると，プロジェ クタの入力量 ! $ と 45 カメラの出力量 ! $ の関係を以下のように定義することがで きる． 6 !,$ め，詳細な分光特性の情報を用いる必要はない．本研 は ( 行 列の色空間変換マトリクスであり，対象物 究では，これらの分光特性を明示的に求めることはせ 体の分光反射率，および照明環境によって成分の値が ず，45 カメラを用いて目標とする物体色を実現す 異なる．本研究のようにプロジェクタを光源として用 るためのプロジェクタ投影光の推定を行う． いる場合は，均一の分光反射率を持つ物体を用いたと 光源の分光分布を波長 の関数 !$ とし，物体の 分光反射率を !$ とすると 物体からの反射光の分 光分布 !$ は次式で表される． !$ 6 !$!$ !$ 本研究では プロジェクタを光源として用い，対象物 体に投影している様子を 45 カメラで観測する．従っ て プロジェクタ光の分光分布 !$ は 各チャネルの 分光分布関数 !$ !$ !$，および各チャネ ルに対する入力量 を用いて以下のように 表される ')． !$ 6 !$・ 7 !$・ 7 !$・ !$ 次に，45 カメラの赤 !$，緑 !4$，青 !5$ の各チャネルに対応する受光素子の分光感度をそれぞ れ !$ !$ !$ とすると，45 カメラの出 力量 ! $ は以下の式で表される．このとき， しても，部位によってプロジェクタからの距離が異な るため照明環境は均一ではない．そこで対象物体の部 位毎 !カメラで観測する際に得られる画素毎$ に を 求め，45 カメラの出力量 ! $ の値を目標 色に設定することで，!,$ 式より目標色を実現するた めのプロジェクタ入力量 ! $ を対象物体の 部位毎の反射特性，照明環境に応じて算出することが できる． ここで，色空間変換マトリクス を求めるために， 複数の単一 45 光をあらかじめ対象物体に投影し， その様子を 45 カメラで観測する．これによりプロ ジェクタ入力 45 値 !投影光 45 値$ とカメラ出力 45 値 !観測 45 値$ の対応関係が得られる． に 含まれる算出すべきパラメータは 個であるから， 色の単一 45 光を対象物体に投影すれば，連立方程 式を解くことでパラメータを求めることができる．, 色以上投影する場合は最小二乗法によって算出する． は ∼ の値をとる． 6 !$・ !$ 6 !$・!$ 6 !$・ !$ !($ 式 !$∼!($ より プロジェクタに対する入力量 ! $ と 45 カメラの出力量 ! $ との関係 は次式で表される． 6 ½ 式 !$ は，45 カメラの出力量がプロジェクタの入力 量の線形結合で表されることを示している．すなわち， キャリブレーション 前節で提案した投影光推定式は，プロジェクタに対 する入力 45 値と物体からの反射光を観測する 45 カメラの出力 45 値との間に線形性が保たれている ことが前提であるため，カラーキャリブレーションが 必要になる．また，提案手法を用いて生成したテクス チャ画像を対象物体に投影する際には，投影する画像 と対象物体の間の幾何学的整合性を保つためにカメラ とプロジェクタの画素間の対応付け !幾何学キャリブ レーション$ が必要になる．以下にこの 種類のキャ リブレーションについて述べる． カラーキャリブレーション 一般に，プロジェクタはガンマ特性の影響により入 出力輝度値間の関係は非線形であるから，プロジェク 吉田・堀井・佐藤 複合現実博物館のための反射色計測に基づくプロジェクタ投影テクスチャ !$ 図 システム座標系 ! "# $ #% !$ 図& 基準物体 とグレイコードパターン & $ " 必要がある．本論文では，グレイコードパターン投影 法 ' ) により対象物体の ( 次元形状を求め，さら にカメラとプロジェクタの画素間の対応付け !幾何学 キャリブレーション$ を行う． 図 に実物体を観測するカメラ座標系とテクスチャ !1$ 図 プロジェクタ入力 値とカメラ観測 画像を投影するプロジェクタ座標系，および世界座標 値の関係 系の関係を示す．較正用の基準物体として各面に基準 点が描かれた１辺 -00 の立方体 !図 (!$$ を用いる． この基準物体をカメラで撮像することで得られる像か タの入力 45 値と 45 カメラの出力 45 値との 線形性を実現するためにカラーキャリブレーションを 行う．まず，，4，5 それぞれ / 段階 !,( ,,$ に設定して標準白色板に投影し， 補正機能をし ない ! 6 $45 カメラを用いて白色板からの反射光 を測定した．そして，測定結果を基にプロジェクタ入 ら基準点の世界座標 ! $ とカメラ座標 ! $ の !-$ のカメラパラメータ を求め る．ここで は ( 行 列の透視変換行列となる． 対応を取得し，式 6 !-$ 次に，基準物体へプロジェクタから縦・横のグレイコー 力値とカメラ出力値の関係が線形性を満たすように作 ドパターン光 !図 (!$$ を投影し，この様子をカメラ 成したルックアップテーブルを用いて補正を行ったの で撮像する．この像を解析することにより，プロジェ ち，再度同様の条件で反射光測定を行った．補正結果 係を取得し，式 !$ と同様に，式 !$ のプロジェクタ を図 に示す．この結果よりプロジェクタ入力 45 値とカメラ出力 45 値が線形性がほぼ満たしている ことが確認できるので式 !,$ を用いることができる． 幾何学キャリブレーション プロジェクタから実物体にテクスチャ画像を投影す る際，カメラとプロジェクタおよび実物体の位置関係 を基に，実環境と仮想環境間の幾何学的整合性を保つ クタの各画素 ! $ と世界座標 ! $ の対応関 パラメータ を求める． 6 !.$ ( 次元形状のデータおよび上記の式 !$，!$ を用いる ことで，カメラ座標 ! $ およびプロジェクタ座標 ! $ との対応が求まることになる． 日本バーチャルリアリティ学会論文誌 " 色再現性の評価手法 提案手法の色再現性を定量的に評価するために 89 :;5!89.- :$ 色空間を用いる．89:;5 色 空間は空間内の 色の色の一定距離が，どの色領域に おいても一定の知覚的な色差に対応するように定めら れた均等色空間であり，色刺激を ( 次元直交座標 ! " 明度， "色度 !<=$， "色度 !#><$$ で 表す． 6 - 6 , 6 ½¿ - ½¿ ¿½ ½¿ !/$ ½¿ ここで， は対象とする物体色の三刺激値， は完全拡散反射面の三刺激値であり， 6 と規格化している．また 色 !½ ½ ½ $ !¾ ¾ ¾ $ は，次式のように 89:;5 色空間内 間の色差 ? のユークリッド距離として定義されている． 図 6 !? $¾ 7 !? $¾ 7 !? $¾ ? システム構成とブロックダイアグラム '% ( # $ "# ! システム概要 章では，対象物体の物体色を目標色にするために プロジェクタから投影すべき光を推定する手法を提案 した．この手法を実装したシステムの構成図とテクス チャ画像 !投影画像$ 生成の流れを図 に示す．まず， 対象物体を用いて幾何学キャリブレーションを行い，プ ロジェクタ−カメラ座標系間の画素の対応付けを行っ ておく．次に，対象物体を 45 カメラで撮像するこ とで基準画像を得たのち， 色以上の単一 45 光を 対象物体に投影しその反射色を測定する．ここで，投 影光推定式 !,$ における色空間変換マトリクス の算 出は基準画像中の各画素毎に行いその値を保持してお く．さらに基準画像の各画素に対して目標 45 値を 設定することで目標画像を得る．そして，目標 45 値と投影光推定式 !,$ から投影光 45 値を算出する ことで投影画像を生成する．最後に，生成した投影画 像をプロジェクタ座標に変換して対象物体に投影し， その様子をカメラで観測すれば投影結果画像を得るこ とができる． ¾½ !$ ただし，? 6 ¾ ½ ，? 6 ¾ ½ ，? 6 ¾ ½ である．すなわち，目標色 !目標 45 値$ と 投影結果の色 !投影結果 45 値$ をそれぞれ を求めることができ 値に変換し，それらの色差 ? るので，提案手法の色再現性の評価に向いていると考 えられる．ここで，画像の 45 値を @A 値に変換 するには以下の変換式を用いた ')． ((( 6 ( / (-, ( . /,/ . ,. !$ ここで，算出した色差を定性的に評価する指標とし て許容色差 !1 B1 1$ がある．許容 を持つ つの色があったと 色差とは，ある色差 ? きに，それらの色を人間がどのように知覚するかを分 類したものである ')．本論文では，表 ( に示した分 類を参考に提案手法の色再現性の評価を行う． # 実験 提案手法の有効性を検証するために，グラデーショ ンパターンに対する実験，および色彩が劣化した絵画 に対する仮想的色修復実験を行った．以下に実験環境， および実験結果について述べる． 吉田・堀井・佐藤 # 複合現実博物館のための反射色計測に基づくプロジェクタ投影テクスチャ # 実験環境 本実験で用いた実験機器を表 ，実験環境を図 , に示 グラデーションパターンを用いた実験 本手法を用いて，，4，5 系統のグラデーション パターンに対してそれぞれ目標色 !目標 45 値$ を設 す．対象物体の正面にプロジェクタとカメラが設置され 定して実験を行った．実験結果を図 - に示す．この図 ている．プロジェクタおよびカメラの解像度はそれぞれ × .-/C&!@4;$，( × C&!D4;$ において，左から基準画像，目標画像，提案手法で生 とした．ここで，標準白色板にプロジェクタで白色光 成した投影画像，および投影結果画像を示している． !64656,,$ を投影した状態をカメラのホワイト バランスの基準とし 表 に示す / 色の単一 45 光 を対象物体に投影することで式 !,$ の色空間変換マト また各グラデーションパターンに対して ∼( の領域 を定め，それぞれの領域に含まれるすべての画素の目 標 45 値と投影結果 45 値の平均値，およびそれ の平均値を表 に示す． らの色差 ? リクス を算出した．これらの処理はプロジェクタ # 以外の光源の影響を除外するため暗室で行った． 絵画を用いた仮想的色修復実験 複合現実博物館における展示への応用の可能性を検 証するために，絵画に対する仮想的色修復実験を行っ た．実験結果を図 . に示す．この図において，基準画 像，目標画像，提案手法で生成した投影画像，および 投影結果画像を示している．絵画の基準画像 !図 .!$$ 中の 点に対して，目標 45 値と投影結果 45 値 を算出した．その結果を表 , に示す． との色差 ? $ 考察 の値はおおよそ ∼, 程度であ 表 , の色差 ? り，これは表 ( より実用色差の範囲内であると言える． 図) ) ここで，プロジェクタから投影される光がレンズを通 実験環境 *+# # 過する際の屈折によって投影すべき部位以外にも光が 照射されてしまう現象 !レンズフレア$ があるが，今回 はこの影響を考慮に入れずに実験を行ったために目標 表 ' 使用機器 色との色差が生じたものと考えられ，今後この問題を ,- $ "# 解消していく予定である．また一般的に，設定した目 .! ,/0. .!12!* !.3 メインメモリ ! /4 標色によってはプロジェクタで光をいくら投影しても ) 1" 実現不可能な場合があると考えられる．この点に関し . 5*! 1'67)8 ては色の対比現象，色恒常性などの人間の色知覚特性 & 6605,9# 最大輝度値 解像度 を考慮した投影画像を生成・投影していく必要がある． 6 / × :7;2 !# ' !,);)6 % :7;/ × <2 有効画素数 != 9> = 3,!0. 最大静止画キャプチャサイズ 本論文では，プロジェクション方式の複合現実感環 &) / × ;;2 境において，プロジェクタから投影する光を対象物体 開発環境 >, ?@. .## おわりに の部位に応じて調節することで目標の物体色を実現す =% : ることができる手法を提案し，グラデーションパター ンを用いた実験，絵画を用いた仮想的色修復実験を 行った．今回はプロジェクタ光の副次反射や環境光な 表 ' 単一 光 どの影響を最小限にとどめるため，対象物体として平 # % $ 面状のものを用い暗室で実験を行った．そして，目標 # $ A) & ) 7 : ; 色と投影の結果得られた色の色差を 89:;5 色空間 を用いて定量化した結果，色差値は非常に小さいもの 6 )) 6 6 )) )) 6 )) 6 6 )) 6 6 )) )) )) 6 6 6 )) )) 6 )) )) ! であったことから提案手法の有効性が示されたと言え る．今後はシステムをマルチカメラ，マルチプロジェ クション方式に拡張し，建築物などの大規模な物体の 仮想的色修復にも応用していく予定である． 日本バーチャルリアリティ学会論文誌 表& ' & 色差 名称 6& 識別色差 １級 厳格色差 ２級 実用色差 ３級 実用色差 ４級 67 ) )6 許容色差の分類 !- $ B 摘要 同一物体の測色再現精度 各種の誤差要因を考えた場合の実用的な許容差の限界 並べて判定した場合に，ほとんどの人が容易に色差を認めることができる． 離間して判定した場合に，ほぼ同一と認めることができる． 経時比較した場合に，ほぼ同一と認めることができる． !$ !$4 !1$5 図7 グラデーションパターンに対する実験結果 基準画像 目標画像 投影画像 投 影結果画像 7 表 ' *+# $ 目標 値と投影結果 値との比較 !# 領域 目標 R1 R2 R3 投影結果 G1 G2 G3 6 色差 C C 6< 7 && C 6< &; &; 7) &&) <7 7 &: &; : & )&6 :) 7; &: ); 6)< & < &7& 76 &7 ); 6): 6< 7& ) &7 ); 6;7 ; 6; 6; 7 <) 6& ) : &) 777 : < )) < :7 &:& < ;: :7 &< )< & & B1 B2 B3 :6 C ); &; 6 7) ): & & ;6 & 6 < 吉田・堀井・佐藤 複合現実博物館のための反射色計測に基づくプロジェクタ投影テクスチャ !$ 基準画像 '1 0=) !$ 目標画像 '= 0=) !1$ 投影画像 '+E1 0=) !$ 投影結果画像 ' 0=) 図: : 表) ' ) 絵画に対する仮想的色修復 *+# $ $ % 目標 値と投影結果 値との比較 !# 領域 2 1 6 4 5 7 8 10 9 11 12 投影結果 ;; 6) 7) <& 6 ; : & 6) < :& <) :< ) <; 7 3 目標 C 色差 C C C <; & &6& 7< 77 6; 6 &: &<) : &: ;< ;) :& &) ; <7 : ) :< : ) &: 6 7 &;< ;& 7) ;; :; 76 6< 6 ;: :7 <: ) : 6 )6 6)& && )7< : &6 7&) :) &7: :) ; : 7 ) 7< 7 & 6:6 &; &:7 < 7< & 7 & & 6< 7&) 7: 6 < 7) & : ) &< & <; ): ;) 7) )6 : 76 < &; &6 &<& 7) )6 & )7 : &: 7 7 &)& ) 日本バーチャルリアリティ学会論文誌 参考文献 & ( 1! ?% ?,4 D *$ - 9# $ 1 1$ =" . $ % <% * % ?(% <<; ( 1 E ?!% !% ?% /' , /% D 1 . =" 3 !# . $ % 9*** !$ 2 4 << 77; <<< F(G# G ?% 0# G /" % G$,4 . = #D ," 2" 2 0!1 ,90./ 66 ,(% 0 66 池内克史 佐藤洋一 西野恒 佐藤いまりD複合現実感 における光学的整合性の実現，日本バーチャルリア リティ学会論文誌 2 5 <<< ) 7 : ; < =( "%"" #% ( / " %：="# ,% G#D. 1 >，'% , 9*** 0!1 9 ,"## 0# "9,0H6 6: 7 66 ( ?% FG G = " %""：,% G#D 0# > % 9# 9#，. *% ?(% *? 66 ;<6 66 楠本拓矢 佐藤宏介 井口征士 テクスチャプロジェク ション方式ＭＲによる質感デザインシステム 66 電子情報通信学会 07)6 66 塚田正人 舟山知里 田島譲二：スクリーンの色の影響 の受けないプロジェクタ色再現の開発 カラーフォー ラム 80.05 66 6&67 66 東城賢司，日浦慎作，井口征士：プロジェクタを用い た３次元遠隔指示インタフェースの構築，日本バー チャルリアリティ学会論文誌 2: 5 7<:7 66 6 & 井口征士，佐藤宏介：三次元画像計測，昭晃堂 <<6 松山隆司，久野義徳，井宮淳 編：コンピュータビ ジョン，新技術コミュニケーションズ 7 :<<<; 日本色彩学会 編，新編色彩科学ハンドブック第２ 版，東京大学出版会 <<; 向川康博，西山正志，尺長健：スクリーン物体への光 学パターン投影による仮想光学環境の実現，電子情報 通信学会論文誌 =99 28;=99 5: ; )) 66 %DII66)I$#I ( )%# （( 年 月 日受付） ［著 者 紹 介］ 吉田 壮伸 66& 年 & 月大阪大学基礎工学部卒業． 現在，同大大学院基礎工学研究科在籍．色 彩情報処理，複合現実感に関する研究に 従事． 堀井 千夏 666 年 & 月奈良先端科学技術大学院 大学情報科学研究科修了．同年 月大阪 大学大学院リサーチアソシエイトを経て， 66 年 月摂南大学経営情報学部講師と なり現在に至る．工学博士．複合現実感， 色彩情報処理の研究に従事． 佐藤 宏介 （正会員） <;7 年 & 月大阪大学大学院工学研究 科基礎工学専攻修士課程修了．同年 月 同大基礎工学部助手．<< 年 月奈良 先端科学技術大学院大学情報科学研究科 助教授，<<< 年 月大阪大学大学院基礎 工学研究科助教授を経て 66& 年 月同 研究科教授となり現在に至る．工学博士． イメージ情報処理，デジタルアーカイブ， 仮想現実感研究に従事．