Comments
Description
Transcript
相互隠蔽を実現する 光学透過型ヘッドマウントディスプレイ
日本バーチャルリアリティ学会第 5 回大会論文集(2000 年 9 月) 相互隠蔽を実現する 光学透過型ヘッドマウントディスプレイ An Optical See-through HMD for Mutual Occlusion 清川清 1)，倉田義則 2)，大野浩之 1) Kiyoshi KIYOKAWA, Yoshinori KURATA and Hiroyuki OHNO 1) 通信総合研究所 (〒184-8795 東京都小金井市貫井北町 4-2-1, [email protected], [email protected]) 2) （株）トプコン (〒174-8580 東京都板橋区蓮沼町 75-1, [email protected]) Abstract: In this paper, we propose a novel optical see-through display that realizes mutual occlusion of real and virtual images, which cannot be realized with conventional optical see-through displays. To overcome the occlusion problem, our optics has an LCD panel to block incoming light and two convex lenses in front of and behind the panel to keep the mask pattern on it in focus. Owing to the mechanism, our display can be used anywhere including outdoor, and can display any colors such as black and dark colors. Through the experimental usage of prototype displays, we confirmed the effectiveness of the approach. Key Words: Mixed reality, Augmented reality, Optical see-through display, Mutual occlusion 1. はじめに 複合現実感（Mixed Reality, MR）技術は，実環境と仮想環境 CG Rendering Camera を違和感なく合成することを目指すものであり，近年盛んに研究 Monitor されている[1]．違和感の少ない質の高い合成像を提示するには， Image Composition Real Image 実環境と仮想環境のそれぞれが他方を遮蔽する隠蔽関係（相互隠 CG Rendering 蔽）を正しく表現する必要がある．相互隠蔽の表現は，景観やイ Half Silvered Mirror ンテリアなどのシミュレーション分野では不可欠であり，正しい 図 1 （左）光学透過式ディスプレイ 空間認知を行うにも重要とされる[2]． 相互隠蔽を表現するには，環境の距離情報とそれに基づいて 相互隠蔽を提示できる視覚ディスプレイが必要となる．距離情報 については，ステレオカメラやレンジファインダを用いて実時間 で取得できるようになってきた[3][4][5]．一方，複合現実感に 用いられる視覚ディスプレイは主に光学透過式とビデオ透過式 がある．光学透過式は，ハーフミラーを用いて重畳表示された仮 想像が実像に対して半透過となるために遮蔽関係を正しく表現 できない（図 1 左） ．一方，ビデオ透過式はカメラで撮像した実 像に仮想像を合成するため，画素単位の加工や実環境情報の利用 が可能であるという利点がある（図 1 右） ．このため，相互隠蔽 を実現するためには，これまでビデオ透過式が用いられているが [3][6]，実環境の時間的・空間的分解能の低下や提示遅れが避け られない，水晶体調節に基づく奥行き手掛かりが得られない，故 障時に視覚が遮断される，といった問題点がある． 我々は，透過型の液晶パネルを用いて実像の任意パタンを遮 蔽することにより，相互隠蔽の提示を可能とする光学透過型ディ Real Image Monitor （右）ビデオ透過式ディスプレイ スプレイを開発し[7]，頭部装着を目指した小型化に成功した． 以下では，幾つかの関連研究を紹介し，我々が試作した光学系の 概要を述べる．さらに，実時間で相互隠蔽を含む合成画像を提示 した実験について報告し，まとめと今後の課題について述べる． 2. 関連研究 近年，画質の劣化や提示遅れがない，眼球の調節機能が利用 できる，といった利点を活かすため，相互隠蔽を実現する光学式 ディスプレイが研究されている[8][9][10]．実像の一部を仮想像 で遮蔽するには，光路的に以下の 4 手法が考えられる(図 2)． 1) 光源から実物体に至る光線を遮断する[10]． 2) 遮蔽用の特別な実物体を配置する[8][9]． 3) ディスプレイ内部で入射した光線を遮断する． 4) 仮想像の輝度を上げ実像の視認性を下げる． 以下ではこれらの手法について順に述べる． CG Image 1. Pre-Object 2. Object 3. Post-Object 4. CG 図 2 光学透過式ディスプレイの光路 Half Silvered Mirror Composed Image 1) 野田らは，実物体のうち仮想像より手前にある部分のみを 照明し，仮想像は実物体より手前にある部分のみを描画して相互 隠蔽像の提示を実現した[10]． この方式は実環境の任意の形状を Real Object LCD Panel 図 3 提案光学系の基本概念 Erecting Prism CG Image 遮蔽できるが，暗室下での光源統制を要するために適用範囲が限 LCD Panel 定され，屋外への適用も難しい． 2) 亀山は黒い入力デバイスに重畳して仮想物体を表示し，仮 f f 想像による手の隠蔽を表現できるシステムを開発した[8]．また， 稲見らは，再帰性反射材を塗布した実物体を仮想像提示スクリー ンとして用いる手法を開発した[9]．遮蔽用に特別な実物体を用 いる手法は簡易に確実な遮蔽が行える反面，仮想物体ごとに対応 Half Silvered Mirror Eyepiece Objective Lens 図 4 提案光学系の構成 する実物体を要するために適用範囲が限定される． 3) ディスプレイ内部で入射光を任意のパタンで遮断する例は これまでに知られていない．この手法は利用環境を選ばないなど の優れた利点を期待できるが，光学的に実現は容易でない．この 問題を解決した我々の手法については次章で述べる． 4) この例としては，航空機などのヘッドアップディスプレイ がある．この手法は従来の光学透過型ディスプレイの機構のまま 簡易に実現でき，屋外でも利用できるが，仮想像に明るい色しか 使えないという大きな問題がある． 3. 提案光学系の概要 我々は，接眼系ディスプレイの内部機構として実像の任意パ タンの遮蔽を光学的に可能とする方法を開発した．具体的には， 図 3 に示すように，ハーフミラーの実環境側に，透過型液晶パネ ルのように透過と遮蔽を切替えられる光学素子を配し，仮想像の 可視部分のみを描画する手法[3][10]と併用する．ここで，仮想 像が実像を遮蔽すべき画素を遮蔽し，実像が仮想像を遮蔽すべき 画素を透過することにより，相互隠蔽が表現できる． しかしながら，単純に遮蔽用パネルを至近距離に配置するだ けでは，遮蔽パタンがボケて見える．ボケを防ぐためには外景と 遮蔽用パネルに同時に焦点を合わせて双方を鮮明に観察できる 光学系が必要となる．そこで，まず焦点距離 f の等しい凸レンズ を 2 枚対向させ，それらの距離が 2f となるよう配置し，レンズ 間の中心の位置にも結像する倍率 1 倍の光学系を構成する．ここ でレンズ間の中心に遮蔽用パネルを配置すれば，外景とパネルの 双方に同時に焦点を合わせることが可能となる．ただし，この構 成は倒立光学系となるため，正立プリズムを加えて目的とする光 学系を構成する．この光学系の実現例の概略図を図 4 に示す． 本方式は，接眼系ディスプレイの内部機構として相互隠蔽を 表現可能な点に特色がある．このため， 1) 利用環境に制限がなく，屋外などでも利用できる． 2) 仮想像の色再現性に優れ，暗色なども表現できる． 3) 仮想像提示系として既存の透過型 HMD を利用できる． 図 5 試作ディスプレイ１号機(ELMO-1)の外観 といった利点がある． 一方，本光学系では，光路長の付加と正立プリズムのオフセ ットのために，実質的な視点が肉眼の場合とずれてしまうという 問題がある．このために，実環境に対し視覚と位置覚の不整合が 起こるが，後述するような設計の工夫が可能であり，特に遠景の 観察時には問題とならない． 4. 試作ディスプレイ 4.1 試作ディスプレイ 1 号機（ELMO-1） 提案光学系の妥当性を確認するため，色収差や像歪みの少ない レンズを新規に設計・製作し，調整が容易なようにやや大型の単 眼ディスプレイ ELMO-1 (Enhanced optical see-through display using an LCD panel for Mutual Occlusion) を試作した．ELMO-1 の外観を図 5 に，光学系の緒元を表 1 中列に示す（表 1 右列には 後述する ELMO-2 の諸元も示されている） ． 遮蔽用パネルは市販の 10.4 インチモノクロ DSTN 液晶パネル（IDB-9344W，インテグラ ル電子）を用い，その虚像は約 3m 前方に見えるよう設計した． パネルのドットピッチは 0.27[mm]であり，約 120×120[画素]の 遮蔽パタンが表示できる．また，液晶パネルの透過率は駆動回路 の可変抵抗値に依るが，コントラストが最大となるよう透過時 18[%]，遮蔽時 2[%]に設定した． ELMO-1 に既存の光学透過型 HMD（STV-E，島津製作所）を組み 合わせ，様々な合成画像の出力を行う動作実験を行った．遮蔽像 は PC（VWS540, SGI） の RGB 出力を液晶パネルに直結して表示し， 仮想像は同PC のNTSC 出力をアップスキャンコンバートしてHMD M2 M1 P1 P3 P4 P2 B A C 図 7 （左上）光学系概略図（A）実際の光学系 （B）液晶パネルをつけた様子（C）外箱をつけた様子 図 6 （左上）単純な合成（右上）奥行きを考慮した合成 （左下）遮蔽像のみの合成（右下）最終的な相互隠蔽像 に提示した．この実験系を用いて，実物体（白い箱）に仮想物体 （赤い円筒と青い箱）が突き刺さったシーンを 4 通りの合成方法 で提示し，デジタルビデオ（DCR-TRV900，ソニー）で撮影した（図 6） ．図 6 左上は，距離情報や遮蔽像を利用せずに単純に合成した 例であり，隠蔽関係が判断できない．同図右上では，距離情報を 考慮することで実像が手前にある画素では実像のみが見えてい るが，仮想像が手前にある画素でも実像が透過して見えてしまっ ている．なお，実物体の位置と形状は計算機内にモデル化してお り，このモデルを透明物体として描画してＺバッファのみを書換 えることにより，実像が手前にある画素には仮想像が描かれない ようにしている[3]．一方，ELMO-1 の遮蔽系のみを用いると同図 左下のように黒い円筒が観察され，実像の遮蔽と黒色の表現が実 現できていることが確認できる．ここで，仮想像の提示系を併用 することで，最終的に同図右下のように相互隠蔽が正しく表現さ れた合成画像を得ることができる．また，実像の色に影響されず に望ましい色再現ができている． 4.2 試作ディスプレイ 2 号機（ELMO-2） ELMO-1により本光学系の妥当性が確認できた． しかしながら， ELMO-1 はベンチトップ型であり，頭部に装着することは不可能 である．そこで，頭部装着型への改良を目指し，直角プリズムを 多用して光路を畳み込むことで，ELMO-1 と同等の光学性能を維 持しながら小型化，視点オフセットの緩和，両眼視などを実現で きる新たな光学系を設計した（図 7 左上） ． 接眼側から対物側にかけて，接眼レンズ，プリズム P1 と P2， 液晶パネル，プリズム P3 と P4，対物レンズ，ミラーM1 と M2 の 順に並べている．直角に畳んだ光路のうち接眼・対物レンズ間は 視野角を確保するために屈折率の高いプリズムで光路長を稼ぐ． 具体的には，透明度，重量，屈折率などを考慮し，接眼側のプリ 表 1 試作ディスプレイ(ELMO-1/2)の緒元 接眼／対物レンズ 焦点距離 有効径 中心厚 重量（各々） 透過率(λ＝550[nm]) プリズム 入射／射出口形状 屈折率 反射率(λ＝550[nm]) 重量 ミラー 反射率(λ＝550[nm]) 重量 有効視野角 瞳射出径 アイリリーフ 視点オフセット 水平前方 垂直上方 総透過率(λ＝550 [nm]) 図 8 実験環境 ELMO-1 70 [mm] 37 [mm] 15.5 [mm] 56 [g] 0.98 ELMO-2 75 [mm] 38 [mm] 15.4 [mm] 56 [g] 0.98 35 x 35 [mm] 1.755 0.98 273 [g] 40 x 40 [mm] 1.516∼1.834 0.96∼0.98 161∼284 [g] ― ― > 25 [度] > 5 [mm] > 60 [mm] 0.92 34 [g] > 25 [度] > 5 [mm] > 60 [mm] 291.9 [mm] 35.7 [mm] 0.88 216.9 [mm] 0 [mm] 0.75 ズム P1 と P2 は比重 4.43 の LaSF 40 相当の硝材を，プリズム P3 と P4 は比重 2.52 の BK 7 相当の硝材を用いる．対物レンズより 遠方はミラーを用いて軽量化する．この配置により，重心を顔側 に寄せて回転モーメントを抑える．以上の基本案に基づき，試作 ディスプレイ 2 号機(ELMO-2)を製作した（表 1 右列，図 7 の A∼ C） ．外箱は 10.4 インチの液晶パネルの利用を前提としたサイズ となっており，重量は光学部品のみで約１[kg]，外箱込みで約 2[kg]である．接眼・対物レンズの光軸方向の位置（実像および 遮蔽像の焦点距離に影響） ，および眼幅の調整が可能である．な お，左右の光学系に輻輳角はつけていない． 次に，ELMO-2 を用いて実時間画像合成を行った．図 8 にその 実験環境の様子を示す．仮想像は，HMD（MediaMask，オリンパス） の液晶シャッタと偏光フィルムをすべて取り外し，PC の NTSC 出 力経由でフィールドシーケンシャルステレオとして表示した．遮 蔽像は PC の RGB 出力経由で液晶パネルの左右の可視領域（各々 5.2 光学系の課題と展望 視点のオフセットに関して，前後方向のオフセットはまだ 20[cm]以上あり違和感が残る． これを緩和するには視野角を犠牲 にする必要があるだろう．また，軽量化にはプラスチックプリズ ムの使用が考えられるが，コスト増，着色，視野角の減少などが 問題となる．プリズムでなくミラーを用いれば劇的に軽量化でき るが視野角と光量が犠牲となる． 別途に既存の HMD を利用せず，仮想像の提示も ELMO の内部で 行うことができれば全体の軽量化と小型化，装着感の向上が期待 できるが，これはプリズム P2 をビームスプリッタに変更して， 遮蔽用パネルと共役な位置に小型ディスプレイを配置すること で実現できる．この方式ならばさらに，通常の透過型 HMD が実像 の光量を半分以下にしてしまうのに対して，ビームスプリッタの 実像側の透過光量を例えば 70％，仮想像側を 30％にして実像を 明るく見せるといったことも可能である． 6. おわりに 従来の光学透過型ディスプレイの問題点を指摘し，実環境と 仮想環境の相互隠蔽の提示が可能な光学透過型ディスプレイを 提案した．また，実際にディスプレイを試作し，頭部に装着する ことを目指した小型化も試みた．本ディスプレイは，利用環境を 交差法 平行法 図 8 ELMO-2 における実時間画像合成の例 選ばず仮想像の色再現性に優れるといった特長がある．試作機は まだ軽量化が不十分であるが， アーム吊り下げ式ディスプレイと しての利用が可能な程度の小型化には成功した． 約 140×140[画素]）に表示した．図 8 に，2 台の小型カメラ 今後は，アーム吊り下げ式のヘッドマウントディスプレイの （IK-CU43，東芝）で同時に撮影した合成画像の例を示す．この 製作，実時間測距手法[3][4][5]や広範囲環境における位置・姿 例では，先の実物体に仮想像として赤青緑３色の十字型の物体を 勢検出手法の導入，さらなる小型化，軽量化，仮想像提示装置の 重畳している．この実験より，ELMO-2 を用いて正しく相互隠蔽 内蔵化などを実施し，真に実用的な複合現実感用ディスプレイシ を表現した立体像を提示できることを確認した．また，この拡張 ステムの開発を続ける予定である． 現実環境が肉眼で正しく立体視できることも確認した． 参考文献 5. 課題と展望 2 つの試作ディスプレイを製作し，本光学系の有効性が確認で きた．しかしながら，ディスプレイの実用性を向上するために解 決すべき課題も明らかになった． ここではそれらの課題と解決の 展望について述べる． 5.1 液晶パネルの課題と展望 液晶パネルの解像度に関しては 200[dpi]以上のものが市販さ れており現状（94[dpi]）の倍以上に改善できる．ただし，パネ ルの可視領域に VGA クラスの遮蔽パタンを表示するには 400[dpi]程度の解像度が必要であり，現存のパネルでは実現でき ない．応答速度に関しては 2∼3[ms]のパネルが利用でき，大幅 に改善できる．透過率に関して，ELMO-2 と HMD を合わせた透過 時の合成透過率はわずか 10％程度であるが，やや暗いと感じる 程度で観察に不都合はなく，暗視順応がうまく機能したものと思 われる．原理的に，液晶パネルの透過率は最大級のものでも 30 ∼40％程度であるが，これらを用いれば現状の倍程度に透過率を 向上できる．また，パネルのサイズに関しては，必要最小限の面 積を持つパネルを用いて軽量化と小型化を図りたい． [1] [2] Ohta, Y. and Tamura, H.: Mixed Reality, Ohmsha, 1999. 鈴木, 前田, 舘：視差情報と遮蔽関係の矛盾の空間認知への影響に ついて, 日本 VR 学会第 1 回大会論文集, pp.19-22, 1996. [3] 神原, 大隈, 竹村, 横矢：ビデオシースルー型拡張現実感のための 実時間ステレオ画像合成, 電子情報通信学会 論文誌, Vol.J82-D-II, 10, pp.1775-1783, 1999. [4] Kanade, T., Yoshida, A., Oda, K., Kano, H. and Tanaka, M.：A Stereo Machine for Video-rate Dense Depth Mapping and Its New Applications, Proc. CVPR '96, pp.196-202, 1996. [5] 横山, 佐藤, 芦ヶ原, 井口：無調整型ホト VLSI センサを用いた実 時間距離画像計測 - シリコンレンジファインダ -, 電子情報通信 学会 論文誌, Vol.J79-D-II, 9, pp.1492-1500, 1996. [6] 董, 柳田, 前田, 舘：RGB 信号による実時間オーグメンテッドリア リティの構築 （第 2 報）, 日本 VR 学会第 4 回大会論文集, pp.197-198, 1999. [7] 清川, 倉田, 大野：実環境と仮想環境の相互隠蔽を可能とする光学 透過型ディスプレイ, 電子情報通信学会 技術報告, MVE99-72, 2000. [8] 亀山：AR を利用した触れる CAD, 日本 VR 学会第 3 回大会論文集, pp.317-318, 1998. [9] 稲見, 川上, 関口, 高幣, 柳田, 遠藤, 小林, 上田, 前田, 満渕, 舘： 頭部搭載型プロジェクタの研究（第 2 報） - 試験的実装 -, 日本 VR 学会第 4 回大会論文集, pp.59-62, 1999. [10] 野田, 伴, 佐藤, 千原：実時間計測と動的パターン照明による光学 シースルー型複合現実感ディスプレイ, 日本 VR 学会 論文誌, Vol.4, No.4, pp.665-670, 1999.