Comments
Description
Transcript
滑らかな運動視差を再現する 多視点裸眼立体表示装置の研究
筑波大学大学院博士課程 システム情報工学研究科修士論文 滑らかな運動視差を再現する 多視点裸眼立体表示装置の研究 斉藤 靖英 （知能機能システム専攻） 主任指導教官 システム情報工学研究科 大田 友一 ２００５年 1 月 目次 １ はじめに・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・1 ２ 従来の立体表示方式・・・・・・・・・・・・・・・・・・・・・・・・・2 2.1 2.1.1 人間の眼・・・・・・・・・・・・・・・・・・・・・・・・・・3 2.1.2 立体知覚の要因・・・・・・・・・・・・・・・・・・・・・・・4 2.1.3 立体知覚のまとめ・・・・・・・・・・・・・・・・・・・・・・6 2.2 ３ ４ 立体知覚のメカニズム・・・・・・・・・・・・・・・・・・・・・・2 立体画像の表示方式の分類・・・・・・・・・・・・・・・・・・・・7 2.2.1 めがね式・・・・・・・・・・・・・・・・・・・・・・・・・・7 2.2.2 レンチキュラ方式・・・・・・・・・・・・・・・・・・・・・・9 2.2.3 超多眼方式・・・・・・・・・・・・・・・・・・・・・・・・・11 2.2.4 ホログラフィ・・・・・・・・・・・・・・・・・・・・・・・・11 2.2.5 可変焦点光学系方式・・・・・・・・・・・・・・・・・・・・・13 2.2.6 二眼式 FLOATS・・・・・・・・・・・・・・・・・・・・・・・14 FLOATS の多視点化・・・・・・・・・・・・・・・・・・・・・・・・16 3.1 ハーフミラーの利用・・・・・・・・・・・・・・・・・・・・・・・16 3.2 マルチプロジェクタの利用・・・・・・・・・・・・・・・・・・・・18 FLOTATS の多人数多視点化と画質の向上・・・・・・・・・・・・・・・20 4.1 システム概要・・・・・・・・・・・・・・・・・・・・・・・・・・・20 4.2 FLOATS のモデル化・・・・・・・・・・・・・・・・・・・・・・・・22 4.2.1 実験１・・・・・・・・・・・・・・・・・・・・・・・・・・・・23 4.2.2 実験２・・・・・・・・・・・・・・・・・・・・・・・・・・・・25 4.2.3 実験３・・・・・・・・・・・・・・・・・・・・・・・・・・・・28 4.3 立体表示装置による画像提示・・・・・・・・・・・・・・・・・・・・31 ５ 考察・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・36 ６ まとめ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・38 謝辞・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・39 参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・40 論文要旨 目で見たものを立体として捉えることは日常生活では当たり前のことであり、目から 得る情報は他のどの器官から得る情報よりも多い。映像を立体として捉えることは、人 間の生理的な欲求であると言える。しかしながら、今日の段階で立体ディスプレイは十 分な普及に至っていない。そのひとつの理由としては、立体ディスプレイを使用する際、 我々が日常で自然に行なっている立体視に比べて疲労感が大きいためである。そのため 人間の生理的な矛盾を解決するような立体表示が必要とされている。 本研究では、生理的な矛盾を解決し、疲労感の少ない多視点裸眼立体表示装置を実現 することを目的としている。 本論文では、まず人間の立体知覚の仕組みについて説明する。また、従来の立体表示 方式について分類をするとともに説明をする。つぎに、滑らかな運動視差を再現する立 体表示装置を提案する。実際に立体表示装置を製作し、シミュレーションや実機での実 験を行ない、滑らかな運動視差を再現することを検証した。 1 はじめに 現在までに非常に多くの様々な立体ディスプレイが提案されてきた。しかし、それら はまだ十分な普及に至っていない。それは立体ディスプレイの使用を阻害するいくつか の要因が存在するためである。その要因の一つとして多くの立体ディスプレイが観察者 の立体メガネの装着を必要とするということがよく指摘されている。また、立体ディス プレイを社会に普及させるのを妨げる最も大きな問題の一つに立体ディスプレイが従 来の平面ディスプレイよりも目の疲労感を観察者に与えてしまうことである。 さらに、より基本的な問題が存在している。二次元ディスプレイでも観察者の推察に よりほとんどの三次元情報を得ることができる。そのため、立体ディスプレイは必要で はないと主張する人もいる。実際、観察者に三次元の物体を提示するために立体ディス プレイを必要としていない三次元アプリケーションが多く存在している。ただ、一方で は立体ディスプレイを必要としているアプリケーションも多く存在することも事実で ある。そのようなアプリケーションの代表的な例として三次元のダイレクトマニピュレ ーションシステムが挙げられる。ダイレクトマニピュレーションシステムとは観察者が リアルタイムで三次元オブジェクトに触れることができるシステムであり、作業の可視 化、三次元の描画、手術のシミュレーションなどの応用例が考えられる。平面ディスプ レイで三次元の世界を認識するためには観察者はしばしば時間を必要とする。なぜなら 画像の動きは平面ディスプレイから物体の奥行き感をつかむための大きな要素だから である。 本論文では、滑らかな運動視差を再現する多視点裸眼立体表示装置を実現する方法に ついて提案する。まず二章で従来の立体表示方式について述べる。次に三章で裸眼立体 ディスプレイ FLOATS を多視点化する方法について述べる。四章では多視点化された FLOATS の画質を向上させ多人数に対応させる方法について述べる。 ２ 従来の立体表示方式 2.1 立体知覚のメカニズム 2.1.1 人間の眼 人間は、普段生活をする上で外界からいろいろな情報を得ている。これらの情報は、 眼や鼻や耳などの器官を通して得られるが、そのなかでも一番情報量が多いのは眼から の視覚情報である。 図 2.1 は、人間の眼の構造である。人間の眼は水晶体と虹彩、ガラス体、網膜などで できている。眼でものを見るとき、外部の明るさにより虹彩の大きさが変化して明るさ を調整する。入ってきた光は、水晶体とガラス体を通り、網膜に写ることにより認識さ れる。水晶体は、対象物との距離に応じて、網膜上に像を結ぶことができるように厚さ が調節される。調節は毛様体により、水晶体を収縮させて行う。水晶体は、カメラのレ ンズの働きをしていると言える。網膜に写された像は、視細胞により信号に変えられて、 視神経を通り大脳に送られる。 以上のように人間は眼から視覚情報を得ている訳であるが、網膜上に写った映像は三 次元の情報ではない。しかし、実際私たちは見ているものを立体的に感じている。私た ちがどのように立体感を得ているかについて次節で述べる。 図 2.1 人間の眼の構造 [1] 2.1.2 立体知覚の要因 片方の眼が得る情報は二次元の情報であるが、二つの眼からの情報を脳が処理するこ とにより立体感を得ている。人間が立体感を知覚するための要因はいろいろあるが、生 理的な要因と心理的な要因に分けることができる。生理的な要因としては、水晶体の焦 点距離を変えるための水晶体の厚さの調節、両眼視差、両眼の輻輳角、単眼運動視差な どがある。 ① 焦点調節 人間の眼の構造で述べたように、網膜に写った像が脳に伝達され認識されるため、網 膜上にはっきりとした像を結ばなければ物体をはっきりと見ることができない。水晶体 は、網膜に像を作るためのレンズとして働く。そのため、観察対象の距離に応じて焦点 距離を変化させなければならない。焦点距離を変化させるために眼は水晶体の厚さを変 化させて対応している。図 2.2 はその模式図である。水晶体の厚さは、毛様体の緊張に より行われている。この毛様体の緊張の情報は大脳に送られ、物体の距離を知る手がか りとなる。水晶体の厚さは、通常遠くの方で焦点が合うようになっていて、物体が近く にあると厚くなるようになっている。そのため、あまり遠くの方の物体に対しては距離 感を得るための手がかりとしてはあまり有効ではない。 物体が遠い場合 水晶体 物体が近い場合 図 2.2 物体の遠近による焦点調節 網膜 ② 輻輳 両眼の距離は日本人では約 6.25cm 離れているが、ある一点を見つめると図 2.3 のよ うになる。それぞれの眼はその点に向くように内側に回転し、それぞれの眼の視線の角 度がなす角を輻輳角と呼んでいる。眼をどれだけ回転させたかという情報は脳に伝えら れ処理され、立体感を知る手がかりとなる。 輻輳角 図 2.3 輻輳 ③ 両眼視差 両目の位置は左右に離れているため、図 2.4 のようにある対象物を観察するとき、右 眼と左眼で見える映像には角度によるずれが生じている。その異なる二枚の映像のずれ の度合いから物体との距離がどれくらいであるか推測する。これを両眼視差と呼ぶ。両 眼視差は立体感を得るためにとても重要な要因であり、多くの立体表示装置で利用され ている。 左眼画像 右目画像 図 2.4 左右の眼で見える映像 ④ 単眼運動視差 ふつう私たちは両眼で物を見ているが、片方の眼だけで物をみても立体感を得ること ができる。これには、焦点調節や心理的な要因が働いているが、単眼運動視差と呼ばれ る効果も一つの要因として働いている。単眼運動視差は、物体をいろんな方向から観察 することで両眼視差と同じ効果を得るというものである。図 2.5 のように観察者が動い て情報を得る他に、対象物体が動物体の場合も同様に立体感を得ることができる。 左眼画像 右目画像 図 2.5 単眼運動視差 その他にはいくつかの心理的な要因がある。経験的にあらかじめ対象物の大きさを知 っていたり、陰影や物体の重なり合いも心理的な要因の一つである。さらに、絵画など で使われている遠近法も立体感を与える。 これらの生理的な要因と心理的な要因が組み合わさり立体感を得ている。 2.1.3 立体知覚のまとめ 前節で述べた立体感を得るための要因は、もちろん立体感を知るための手がかりとな っているわけであるが、それぞれがどのように関連して立体感を得ているかという研究 が行われている。図 2.8 はそれらの要因の立体感との関連性について示されている。こ こで、奥行き感度とは、視距離 D と奥行き方向の弁別可能距離ΔD の比として定義さ れている。この図から 10 メートル以内の距離であれば、両眼視差がもっとも重要な立 体感の要因と言える。さらに運動視差もとても重要な要因であることが分かる。この二 つの条件を満たすことは、立体表示装置としてとても重要なことだといえる。 図 2.6 奥行き知覚に関する諸要因と奥行き感度の関係 [3] 2.2 立体画像の表示方式の分類 前章で人間が立体視を行う際のさまざまな要因について述べた。立体画像の歴史は古 く、紀元前 280 年には Euclid が立体感について考察を行った。さらに 1600 年ごろ、 イタリアの Giovanni Battista della Porta によって考案された立体作画が、立体視の試 みとして歴史上最初のものだと言われている。その後、現在までさまざまな立体視のた めの方式が考え出された。それらの主な方式について図 2.7 のように分類した。 ここで立体表示方式を大きく二眼式、多眼式、超多眼式、波面再生方式、ボリューム 方式と分けた。さらに二眼式は、めがね式と非めがね式の二つに分けるとこにした。二 眼式とは基本的に右目画像と左目画像を用意し、それぞれの眼に見せることにより立体 視を実現している。視点追従をして視点に対応した画像を見せるものもあるが、同時に 提示しているのは一視点から見た画像であり、二眼式に分類した。 次に多眼式は、視点を変えることにより表示された立体像が、本当にそこにあるかの ように視点に対応して変化するものである。言い換えると多視点であるといえる。任意 の視点から自由に見られるという特徴を持ち、立体表示の理想であるといえる。このよ うな立体画像が考えられ始めたのは 1900 年代はじめごろからである。それから大きく 二つの方法が考えられた。それがパララックス・バリヤ方式と integral photography 方式である。レンチキュラ方式は integral photography 方式を簡略化したものと考え ることができる。 超多眼式とは、上記の多眼式の特徴に加えて、一つの瞳の中に複数の映像を表示する ことができるという条件を満たすものをいう。そうすることで、観察者には途切れのな い連続した立体画像を見ることができる。郵政省の認可法人である通信・放送機構 （TAO）は 1997 年に「超多眼式 3D ディスプレイ」を発表した。また、高木ら[2]によ り超多眼の三次元ディスプレイが開発されている。 波面再生は、可干渉性の光を用いることで平面の中に三次元画像情報を記録し、再生 する手法を指している。ここではホログラフィを指している。 ボリュームディスプレイとは、視差画像の提示により立体感を与えるのではなく、物 体の実際にあるであろう位置を発光させることにより立体感を与える。 二眼 めがね式 非めがね式 多眼 超多眼 パララックスパノラマグラム、レンチキュラ 方式、integral photography 超多眼式立体ディスプレイ（TAO、 高木[2] ) 波面再生 ホログラフィ、計算機合成IP ボリューム 可変焦点光学系、回転体積式 図 2.7 2.2.1 偏光式、液晶シャッター式、 アナグラム パララックスステレオグラム、 二眼式FLOATS 立体表示方式の分類 めがね式 人間が物を見るときには左右の眼が離れているために、それぞれの眼から見える映像 はずれている。これは 2.1 節で説明した両眼視差である。これにより対象物までの距離 を測ることができる。めがね式は図 2.8 のように視差のついた画像をめがねを使って分 離し、観察者の左右それぞれの眼に提示する。この二枚の視差のついた画像を見ること で脳が立体感を感じるように処理をするので立体的に見ることができる。 めがね式には、アナグリフや偏光めがね式、液晶シャッターめがね式などがある。ア ナグリフでは、赤と青のフィルムを貼っためがねを使用する。右目用の画像と左目用の 画像がそれぞれ赤と青で描かれているためにそれぞれの眼だけで観察できる。この時に 視差のついた画像を提示してあげることで立体感を得る。偏光めがね式では、色ではな く光の偏光の向きを左右で変えてあげることで視差画像の提示を行い、立体感を得る。 液晶シャッターめがね式では、片方の眼の視野だけブラックアウトし、もう片方の眼の 視野はクリアにする。このようにして、左右の眼の片方にだけ映像を見せることを高速 に切り替えることを繰り返す。この動きと同期を取り、右目用の画像と左目用の画像を 高速に切り替える。この動きが高速であるために、視差のついた画像を左右で同時に見 ているような錯覚を起こし立体感を感じる。 ディスプレイに 表示する画像 右目画像 立体メガネ ディスプレイ 左目画像 図 2.8 2.2.2 めがね式立体ディスプレイの原理 レンチキュラ方式 レンチキュラ方式は原理的に integral photography を簡略したものと考えられる。 integral photography では左右両眼が上下左右のどの方向へ移動しても立体画像を見 ることができる。つまり、物体を見下ろしたり、見上げることもできる。しかし、人間 の眼は左右に配置されているということから、上下の視差情報を取り除いても十分に立 体感が得られると考えられた。また上下の視差情報を取り除くことにより処理する情報 量が大幅に削減される。また、integral photography で使われているフライアイレン ズよりも図 2.9 のようなレンチキュラレンズの方が製造上容易であったため実用化のた めの研究が進められた。 原理としては図 2.10 のような図で表すことができる。レンチキュラレンズを使うこ とで図のように右眼と左眼に入ってくる画像を分離することができる。そこで右目画像 と左目画像を縦縞状に表示することで視差情報を提示する。それにより観察者は立体感 を得る。図では一視点であるが連続的に縦縞状に並べることにより多視点に対応するこ とができる。 図 2.9 レンチキュラレンズ 左目画像 右目 左目 レンチキュラレンズ 右目画像 図 2.10 レンチキュラ方式の原理 2.2.3 超多眼方式 超多眼方式のディスプレイとしては TAO と高木ら[2]が開発したものを分類として挙 げた。ここでは後者の超多眼立体ディスプレイについて説明する。図 2.11 のよう縦横 に並べた画像を共有レンズにより垂直方向拡散板上の同一位置に重なって結像する。こ こで、画像を結像させる際に、すべての画像が水平方向に並ぶように光学系を構成する と、すべての視差画像が異なる水平方向に表示されることになる。縦横に並べた視差画 像がすべて水平方向に並ぶので、左右方向に細かく多くの視差を提示できる。そのため、 1 つの眼に二つ以上の視差画像を提示することができ超多眼の条件を満たしている。 共有レンズ 垂直方向 拡散板 平面ディスプレイによる視差 画像の提示 図 2.11 2.2.4 超多眼立体ディスプレイの原理図 ホログラフィ ホログラフィは両眼視差と輻輳だけでなく、眼の調節にも矛盾のない立体感を与える ことができる技術である。この方式は、可干渉性の光の干渉を記録することで三次元情 報を記録し、それに可干渉光を当てることで再生する。 図 2.12 のように可干渉光としてレーザを使用し、それを物体に照射する。物体に当 たった光は物体の各点で散乱され、観察者の目には三次元物体として認識される。ここ で照射している光は過干渉光であるので、散乱された光も可干渉光である。 像をホログラムに記録するためには、図 2.13 のように物体に照射する光とは別に参 照光としてレーザを記録面に照射する。この参照光と物体の散乱光は、お互い可干渉性 なので二つの光は干渉する。そして記録面上には干渉縞が明暗のパターンとして記録さ れる。 記録された像は、参照光をホログラムに当てることで再生することができる。（図 2.14） 実際には、このような方法ですべてのホログラフィが、記録と再生を行っているわけ ではない。さまざまな要因によりホログラフィ技術は何種類かに分類される。また、ホ ログラフィには、動画の再生が困難であることや、レーザを使うことでのコストの問題 などいくつかの問題がある。 図 2.12 可干渉光で照明された物体 [1] 図 2.13 ホログラムの記録 [1] 図 2.14 2.2.5 ホログラムからの像再生 [1] 可変焦点光学系方式 可変焦点光学系方式の例としてバリフォーカルミラーを使用した光学系について説 明する。図 2.15 のようにスピーカの前面に膜状の反射鏡面を取り付け、背面の空気圧 に変動を与えて振動させる。そのとき、振動の周波数は人間が像を融合できる周波数以 上である必要がある。そのとき、再生すべき立体画像の各切断面がディスプレイ上に振 動に合わせて適切に表示されていれば立体画像が観察される。この方式の欠点は、各画 素がすべての方向に光をだして表示しているため隠れている面を表現できない。この問 題のことをオクルージョンの問題と呼んでいる。この方式は、航空機管制用レーダの出 力情報などの三次元画像表示を目指して作られた装置であった。そのほか、三次元映画、 三次元テレビなどに応用が試された。 スピーカ バリフォーカル ミラー 像が再生 される領域 ディスプレイ 図 2.15 2.2.6 バリフォーカルミラー方式の原理 二眼式 FLOATS FLOATS(Fresnel Lens based Optical Apparatus for touchable-distance Stereoscopy)[4,5,6,7]視差画像の提示と観察者とディスプレイの間に空間像を生成する ことを同時に行うことで立体表示を行うシステムである。この FLOATS はメガネなし であるが、視差画像の提示の方法は図 2.15 に見られるようにディスプレイとフレネル レンズの間で右目画像と左目画像がそれぞれの眼に入るようにフィルタにより分離し ている。それにより、立体メガネをかけることなく視差画像を提示することができる。 観察者の頭が動いて視点が移動した場合には、頭に装着したセンサにより眼の位置を検 出し、眼の位置に対応した画像をディスプレイに表示することにより対応している。ま た、眼の位置に対応した画像を表示するために、モータの制御によりフィルタを物理的 に動かして対応している。実際にはフィルタの部分は、鏡とモータを組み合わせた可動 ミラーを使い画像を分離している。 FLOATS は図 2.16 のようにフレネルレンズにより観察者とディスプレイとの間に実 像を生成する。従来の立体ディスプレイでは、手元に浮かぶような立体像を提示すると 焦点調節がディスプレイ面にあることから焦点と輻輳の調節に矛盾が生じてしまう。し かし、FLOATS では手元に実像を作るため、焦点が実像付近に調節されるので輻輳と 焦点調節の矛盾が従来の立体ディスプレイよりも少ない。それにより、観察者の立体酔 いや疲労感を低減することができる。 Filters Fresnel Lenses Mobile Stage Mobile Area Screen showing two different images 図 2.16 Display Real Image Virtual Screen Head Tracker PC FLOATS の基本的な構成 Fresnel Lenses Workspace Workspace Maximum Artificial Parallax Maximum Artificial Parallax Virtual 3D Object 図 2.16 Viewer Workspace Real Image of Screen 従来の立体ディスプレイと FLOATS の比較 3 FLOATS の多視点化 3.1 ハーフミラーの利用 前章では従来の立体表示方式について述べた。その中で、二眼式 FLOATS について も述べた。FLOATS は手元の立体像に対してダイレクトマニピュレーションを行なう ことが開発の目的であったため、作業者が立体視できれば十分であった。しかし、博物 館での展示や複数人の共同作業では、多人数で同時に視覚情報を共有できた方が都合が 良い。また、そのほかにも機構的な問題がある。以下は、FLOATS の多視点化により 解決したい問題点である。 ① モータによる位置制御を含んでおり、観察者の頭の位置が高速に移動するとき、視 差提示が一瞬たりとも損なわれないようにフィルタまたはミラーの位置を追従させる ことは難しいという機構的な障害が生じる。 ② ヘッドトラッカーを装着しなければならず、観察者の動作に物理的な障害が生じる。 ③ 一枚のディスプレイによって、位置検出の結果をフィードバックした画像を表示す るので、複数人が同時に観察することができない。 これらの問題点を解消する方法として、複数の固定式ミラー、LCD を組み合わせて 新たな光学系を作り、FLOATS を多視点化する方法が提案されている。[8,9]この方式 は、頭の位置が移動しても、左右のそれぞれの眼で異なった LCD の画像を見るように 光学系を組むことによって視差提示を行い、立体感を与えるというものであった。 図 3.1 はこのハーフミラーを利用した FLOATS の光学系の図である。ステレオ視を 利用する点では従来と同じ手法であるが、可動ミラーではなく複数の固定式ミラーを用 いること、複数の LCD を用いることが相違点である。実際には、図 3.2 のように画像 は分離される。これにより、ヘッドトラッカーの装着やモータによる位置制御から解放 され、物理的障害や機構的障害の解消が実現される。また、6 視点をカバーしているた め複数人での同時観察が可能になる。 LCD Mirrors Striped Barriers Fresnel Lens Half Mirror Fresnel Lens 図 3.1 ハーフミラーを利用した光学系 O p tical P a th s O b server 図 3.2 ハーフミラーを利用した FLOATS の観察領域 3.2 マルチプロジェクタの利用 3.1 節で述べた方式の FLOATS においても以下に挙げる問題点が依然として残って いる。 ① 現時点で提示されている視差数は６つであり、立体表示領域が多人数での観察が可 能な程の領域を確保できていない。 ②立体感を与えるのに重要な横方向への視点移動に対する画像の切り替えは実現でき ているが、縦方向においては実現できていない。 これらの問題を解消する方法として、図 3.3 のような、複数のプロジェクタ、フライ アイレンズ、フレネルレンズを組み合わせた 16 視点の FLOATS が提案されている。 [8,10]フライアイレンズとは微小な六角形状のレンズが稠密に並んで構成されているも のである。 まず、はじめにこの方式の原理について述べる。今、図 3.3 のうち A と B の二台の プロジェクタを使用して画像を提示することを考える。プロジェクタからの光は、まず フライアイレンズを通る。この光はフライアイレンズにより六角形状に拡散される。プ ロジェクタ B をフライアイレンズとの距離を A と等しくした場合には、面積が等しい 六角形に拡散される。ここでプロジェクタ A と B の距離を調節することで、六角形に 拡散された光を重ねることなく、かつ隙間なく並べることが可能である。そして、その 光を、フレネルレンズを通すことによりよって、ある位置でプロジェクタ A からの光 だけが右目に入り、プロジェクタ B からの光だけが左目に入るようになる。図に示す と図 3.4 のようになる。それぞれのプロジェクタの画像は、それぞれの六角形状の観察 領域内に眼が入っている場合に観察される。図 3.4 のように立体像を観察者に提示した い場合は、プロジェクタ A にはその位置で左目から見える画像、プロジェクタ B には 右目から見える画像を映し出すことによって、両眼視差を作ることができ、立体感を得 ることが出来る。プロジェクタの台数を二台から増やし、視点に対応した画像をそれぞ れのプロジェクタから映し出すことによって、眼の位置を動かしても、立体画像が見え るようになる。 このシステムでも、フレネルレンズにより実像を手元に作っているので立体像を手元 に浮かばせるように表示させた場合に焦点調節と輻輳調節の矛盾が少ない。 Fresnel Lens Fly-eye Lens Left eye Right eye Observer Real image of screen projectors 図 3.3 マルチプロジェクタを利用した１６視点 FLOATS の原理図 両眼視差、輻輳、 焦点調節により 認識する立体像 プロジェクタAの 画像 図 3.4 プロジェクタBの 画像 二台のプロジェクタで画像を提示した場合 ４ FLOATS の多人数多視点化と画質の向上 4.1 システム概要 前章ではハーフミラーやマルチプロジェクタを利用して FLOATS を多視点にするこ とで、立体めがねやセンサなどの機器を一切身に付けずに立体像を観察でき、さらに観 察領域での複数人での観察が可能になった。特にマルチプロジェクタを利用した FLOATS では上下の視差も提示することができ、博物館の展示などの用途には有効で あると思われる。 しかし、マルチプロジェクタを利用した FLOATS は依然として以下に述べる問題点 がある。 ①さらに視点数を増やすためにはプロジェクタを増やす必要があり、高解像度で視点 数を増やすためにはコストが大きくなる。 ②視点数を増やす際にプロジェクタの設置のスペースが必要であり、画像の切り替え の間隔を小さくするために制限がある。 ③プロジェクタには個体差があり、各プロジェクタの色をあわせることや、位置をし っかり合わせないと立体画像が不自然になる。 これらの問題を解決するために高解像度の LCD を利用したシステムを構築すること を提案した。このシステムは図 4.1.1 のように LCD、片凸レンズ、フライアイレンズ、 フレネルレンズにより構成されている。まず、三枚のフレネルレンズにより従来の FLOATS のようにレンズ１と観察者の間に実像が生成される。フライアイレンズは微 小な六角形状の凸レンズが稠密に並んで構成されているものである。LCD からの光は フライアイレンズにより拡散される。フライアイレンズを用いない光学系では図 4.1.2 のように画像の可観測域に隙間が生じる。実際にフライアイレンズを使用しない図 4.1.2 のような光学系で観察をすると、画像が見えない領域が生じるために視点を移動 した際に、不連続に画像が切り替わることが確認できる。フライアイレンズを光学系に 用いることで図 4.1.1 のように画像の可観測域を連続させ滑らかに画像の切り替えをす ることが出来る。これは、各画像の境界領域で隣り合う画像の領域が混ざるため、各画 像の隙間を埋めているためである。 さらに、このシステムではマルチプロジェクタを利用したシステムと同様に垂直方向 と水平方向の両方ともに視差画像の提示を実現している。そのためヘッドトラッキング のための装置を装着することなく色々な角度から三次元空間を認識することが出来る。 つまり、同時に一人または複数人の観察者がそれぞれ固有の視差からの立体映像を観察 することが出来る。 フレネルレンズ 凸レンズアレイ フライアイレンズ 左目 右目 3 高精細液 晶パネル 図 4.1.1 2 1 観察者 光学的実像が生 成される場所 LCD を用いた多人数多視点裸眼立体ディスプレイの原理と構成 フレネルレンズ 凸レンズアレイ 左目 右目 2 3 4.2 観察者 光学的実像が生 成される場所 高精細液晶 パネル 図 4.1.2 1 フライアイレンズを用いない場合の光学系の構成 FLOATS のモデル化 FLOATS ではレンズ系による画像の歪みを補正するために、レンズ系をスネルの法 則に基づいて以下のようにモデル化しディスプレイに画像を表示している。ここでは、 フレネルレンズの厚みは十分小さいとして無視している。焦点距離が f 、空気に対する 屈折率が N の材質を使ったレンズで、レンズの中心から ( x, y ) 離れた点におけるレンズ ( ) 表面（加工面側）の法線ベクトル n = n x , n y , n z は、レンズの光軸をｚ軸（レンズの内 側向きを正）とすると nx = ny = − x 1− f 2s N x2 + y2 − y 1− f 2s N x2 + y2 n z = −1 − で与えられる。ここで、 , , N 2 + f 2s −1 N s= 1 x + y2 + f 2 2 である。また、非加工面では、法線ベクトルが n = (0,0,−1) となる。 次に、空気とレンズの境界面での屈折を考える。使用する光の波長 λ における入力側 （空気からレンズに入るときは空気、レンズから空気に出るときはレンズ）の屈折率を µλ 、出力側の材質の屈折率を η λ とし、 N λ = ηλ とする。入力する光の方向ベクトル µλ を v = (vx , v y , vz ) 、出力される光の方向ベクトルを u = (u x , u y , u z ) とすると、 u は ( ( 1 (v + n (p − = N 1 (v + n (p − = N ux = uy 1 vx + nx p − Nλ y y p 2 + N λ2 z z p 2 + N λ2 λ uz )) − 1 )), − 1 )) p 2 + N λ2 − 1 , λ で与えられる。ここで p = − (v x nx + v y n y + v z nz ) とする。上記の式を利用してディスプレイに表示した個々の画像に対応する視点を求め ることができる。 二眼式 FLOATS では、これらの計算を行い、視点位置をセンサにより検出・追従する ことにより視点に対応した適切な視差画像を提示していた。レンズ系のために視点位置 により画像の歪み方が異なるのでこれらの計算が必要であった。 多視点に対応した FLOATS ではあらかじめ各視点に対応した画像を準備し提示してい る。そのため、LCD に表示した各画像がどの視点に対応しているかということを調べる 必要があった。よってそれらを調べるためにシミュレーションによる実験と多視点裸眼 立体表示装置の光学系モデルによる実験を行なった。 4.2.1 実験１ まずシミュレーションにより、ディスプレイからの光がレンズ系を通りどのような光 路を通っているかを調べる。そして、実際にレンズによる光学系モデルを構成しシミュ レーションと比較する。 シミュレーションでは図 4.2.1 のようにある一点から５×５の格子パターンを一枚 目のフライアイレンズに投影する。その格子のパターンがどのように変化するかをシミ ュレーションした。シミュレーションで求められた光線の任意の距離ｚでの断面図をと り、その断面図と実際の光学系モデルでの結果と比較した。シミュレーションとの比較 のために各断面での格子を紙に印刷し、プロジェクタから格子を投影した時に一致する かどうかを検証した。 投影面 フレネルレンズ ｚ ｙ ｘ 70cm 80cm プロジェクタ 図 4.2.1 格子パターンの投影 その紙に光学系モデルを使って格子パターンを投影すると図 4.2.3 のようになった。 このような実験を繰り返し、シミュレーションでの光線追跡と実際にレンズを通したと きの比較を行った。光学系モデルの設置の誤差やレンズの変形などにより、多少の誤差 は見られたが正しく光線追跡が行えていることを確認した。プロジェクタの位置や投影 面の距離などの設定を変えて検証を行なったがレンズのたわみや光学モデル作成時の ずれなどの誤差のために、多少の誤差が見られたがほぼ一致することが確認された。 図 4.2.2 シミュレーションによる格子の変化 図 4.2.2 図 4.2.3 紙に印刷した格子パターン 投影された格子パターン 4.2.2 実験２ 実験１と同じ光学系モデルを用いて視点位置の計算の検証を行なった。視点位置は投 影した格子パターンが一点に集まる場所としているが、実際には一点には集まらない。 そこで、距離ｚでの断面図上で光が集まっている場所と考え、格子点の分散をとり視点 位置を求めた。図 4.2.4(a),(b),(c)はシミュレーションで視点位置の計算をしたとき の結果である。縦軸が分散であるので、一番値の小さい位置が視点位置となる。 x=0、y=0での分散 5 4 分3 散2 1 0 0 20 40 レンズからの距離ｚ 60 (a) x=5、y=0での分散 6 5 4 分 3 散 2 1 0 0 20 40 レンズからの距離ｚ 60 (b) x=10、y=0での分散 6 5 4 分 3 散 2 1 0 0 20 40 レンズからの距離ｚ 60 (c) 図 4.2.4 プロジェクタの位置による格子パターンの分散 光学系モデルを使って格子パターンが集まっている位置を調べた。図 4.2.4(a),(b),(c)はプロジェクタを x=0 の位置に固定して投影を行なったときの図で ある。(a),(b),(c)は、フレネルレンズからの距離がそれぞれ 30cm、35cm、40cm での観 測結果である。光学モデルによると格子パターンの収束点は z=35cm であった。シミュ レーションの結果は 36cm であったから光学モデルとシミュレーションの結果はほぼ一 致していた。プロジェクタの位置をｘ方向にシミュレーションのように変えて計測を行 なったところ、中央付近ではほぼ一致する結果となった。これはシミュレーションでは、 大きくプロジェクタを動かすと格子点の光が全反射してしまうためにうまく分散が取 れなかったためであると考えられる。 (a)z=30cm での格子パターン (b)z=35cm での格子パターン (c)z=40cm での格子パターン 図 4.2.4 x=０からの投影結果 4.2.3 実験３ 最後にプロジェクタを二台使用して、フライアイレンズが投影画像に与える影響を調 べた。図 4.2.5 のように実験装置を構成した。実験１と２の光学モデルと異なるのは、 プロジェクタの数とフライアイレンズが入っていることである。また、凸レンズアレイ に使用した凸レンズの直径が 5cm であったため、プロジェクタの投影位置を x=0 と x=5 からの投影とした。プロジェクタの大きさのため二台を隣り合わせると、プロジェクタ のレンズ間の距離は 5cm より大きくなってしまうためハーフミラーを利用した。投影画 像は格子パターンではなく、それぞれのプロジェクタから青と赤の色画像を投影した。 図 4.2.6 は z=35cm での結果の写真である。 フライアイレンズがない場合は、隣り合う画像と画像の間には距離がある。図 4.1.2 の原理図でもあったように画像と画像の隙間の領域では眼にはプロジェクタからの投 影画像が見えないことになり、立体視が出来ない。さらに頭を動かして視点位置が変わ る時に、一瞬画像が見えないことになるので不連続感を感じる。 フライアイレンズが入った場合には、図 4.2.6(b)で見られるように各画像が六角形状 に広がっているのが分かる。それにより二つの画像の隙間が埋まっているのが確認でき る。隙間が埋まることにより画像が見えない領域がなくなり、頭を動かして視点が変わ る時の不連続が解消される。さらに図 4.2.7 を見ると隣り合う画像の境界付近では、二 つの画像が混ざり合っている領域が確認できる。この混ざり合った領域に眼がある場合 は、二つの画像が混ざって見える。この混ざり合った画像は二つの画像の切り替わると きの境界をぼかすので観察者には連続的に画像が切り替わっているように感じさせる 効果がある。 ハーフミラー フライアイレンズ y x フレネルレンズ z (a) （b） 図 4.2.5 実験装置の概観 (a)フライアイレンズなし (b) フライアイレンズあり 図 4.2.6 レンズからの距離が 35cm での隣り合う画像 図 4.2.7 境界の混ざり合い 4.3 立体表示装置による画像提示 図 4.3.1 のような立体表示装置を作成した。図 4.3.2 は表示面正面からの写真で、図 4.3.3 はレンズアレイと LCD の写真である。LCD は解像度が QUXGA であるディスプ レイを使用した。凸レンズは直径 5cm で焦点距離が 10cm であるものを並べて凸レン ズアレイとした。また、ミラーを使い LCD からの画像を折り返すことで装置をコンパ クトにしている。 ミラー フレネルレンズ 焦点距離32.5cm フライアイレンズ ピッチ幅0.5mm、 焦点距離1.0ｃｍ フレネルレンズ 80cm 焦点距離27.5cm 凸レンズアレイ 焦点距離10cm、 直径5cm 高精細LCD （QUXGA) 図 4.3.1 立体表示装置の概観 フレネルレンズ フライアイレンズ 図 4.3.2 正面から見た装置 凸レンズアレイ 図 4.3.3 凸レンズアレイと画像表示 図 4.3.4 から図 4.3.6 は実際に立体表示装置によって表示した画像である。図 4.3.4 はディスプレイの正面で観測される画像である。図 4.3.5 は右方向、図 4.3.6 は左方向 から観測される画像である。これらの図から視点により、画像が切り替わって見えてい ることが確認できる。視点位置を右側に動かしていくと、正面からでは隠れていた物体 の右側部分が見えるように滑らかに画像が切り替わっていくことが確認された。左方向 についても同じである。視点の移動は上下方向にも対応しており、物体を見上げること も見下ろすこともできる。これにより観察領域での複数人での観察も可能になったとい うことができる。 また、フライアイレンズは画像を拡散し隣り合う画像の隙間を埋めている。さらに隙 間を埋めるだけでなく境界領域では画像が混ざり合っている。その画像の混ざり合いが、 観察者の視点が移動したときの画像の切り替わりを滑らかにするという効果をもたら している。 視点の移動は上下左右に対応していることは述べたが、本システムでは前後の視点移 動にも対応している。視点を後方に移動した場合に、フライアイレンズが入っていない 場合には図 4.3.7 のように観測される。図では、立体画像に割れ目が入っているように 見える。これは凸レンズアレイの各凸レンズの隙間である。そして各レンズには立体画 像の一部分がそれぞれ映っており、それがつなぎ合わさるようにして画像が観察されて いる。しかし、このままだと画像には割れ目が入っているため非常に見づらい立体像に なってしまう。ここにフライアイレンズが入った場合には、フライアイレンズの微小な 拡散によりこの割れ目を埋める。このとき左右両眼の画像で同じように割れ目を埋めて おり、左右の画像は視差のついた異なる画像であるため、両眼視差により立体感を得る ことが出来る。 図 4.4.4 立体表示装置正面から観測される画像 図 4.3.5 立体表示装置右方向から観測される画像 図 4.3.6 立体表示装置左方向から観測される画像 図 4.3.7 フライアイレンズなしでの観測画像 両眼視差、輻輳、 焦点調節により 認識する立体像 異なる視点の画像の継ぎ接ぎ になるので境界は不連続だが ブレンドにより目立たなくなる 図 4.3.8 フライアイレンズによる拡散の効果 5 考察 立体ディスプレイが、現在広く利用されている平面ディスプレイの代わりに広く普及 していくためには、立体ディスプレイを使用した際の疲労感の低減と自然な立体視が必 要である。疲労感は、立体めがねなどの特別な機器の装着や焦点調節と輻輳角の矛盾が 主な原因になっている。自然な立体視とは、私たちが実際の対象物を観察する際に行な う立体視のことで、滑らかな運動視差の再現や多人数で同時観察が可能であることなど が含まれる。 本システムでは、裸眼で観察ができるということと、観察者の手元に立体を表示した 場合には焦点調節と輻輳角の矛盾が少ないという利点を持つことができている。そのた め、観察者にとって疲労感が非常に少ないシステムだといえる。また、フレネルレンズ の効果により、各視点画像の間の隙間を埋めることで視点移動の際の画像の切り替わり を滑らかにすることができている。図 5.1 は、2 章で説明した主な立体表示方式と本シ ステムとの比較である。焦点調節と輻輳矛盾の問題では、超多眼方式、ホログラフィ、 可変焦点光学系に劣っているものの、コストやオクルージョンの問題ではそれらよりも 優れていることが分かる。 フライアイレンズは、隣り合う画像の隙間を埋めて滑らかな運動視差を実現すること ができた。しかし同時に画像を拡散した分だけ画像がぼけて見えているというデメリッ トがある。そのためフライアイレンズによる拡散を抑えたり、フライアイレンズなしで 新たな光学系を構成するなどの解決策が考えられる。また、どれくらいの解像度を要求 されるかは表示する物体や使用目的によると思われ、その点での評価が必要であると考 えられる。 動画 多視点 運動視差 焦点調節 コスト オクルー ジョン めがね式 ○ × △ × ◎ ○ レンチキュラ方式 ○ ○ △ × ○ ○ 超多眼方式 ○ ○ ○ ◎ × ○ ホログラフィ △ ○ ○ ◎ × ○ 可変焦点光学系 ○ ○ ○ ◎ △ × 本システム ○ ○ ○ ○ ○ ○ 図 5.1 主な立体表示方式との比較 6 まとめ 本論文では、人間の立体知覚と従来の立体表示方式について述べ、滑らかな運動視差 を再現する多視点裸眼立体表示装置を提案した。実験では、視差画像提示のための視点 位置とフライアイレンズを用いることの効果を確かめた。また、提案した多視点裸眼立 体表示装置と従来の立体ディスプレイとの比較を行い、本システムの有用性を確認した。 今後の課題は、更なる高画質化と広視野角化、焦点を誘導する画像提示との融合などが あげられる。 謝辞 本論文の作成にあたり、ご指導を頂きました本学機能工学系掛谷英教官には深く感謝を 申し上げます。また、視覚メディア研究室の皆様には、日頃いろいろとお世話になり深 く感謝致しております。 参考文献 [1]大越孝敬,“三次元画像工学”,朝倉書店,1991 [2]高木康博,“64 眼式三次元カラーディスプレイとコンピューター合成した三次元物体 の表示”,三次元画像コンファレンス 2002 講演論文集,pp.85-88,2002 [3]畑田豊彦， “生理光学（14 回） 奥行き知覚特性 O plus E No.71(1985 年 10 月)”， pp.108-118,1985 [4] Kakeya and Y. Arakawa, Optical Design of Autostereoscopic Display with Real-Image Screen, Proc of 3D Image Conference, pp. 63-66, 2000. [5] Kakeya and Y. Arakawa, Autostereoscopic Display with Real-Image Screen, SIGGRAPH 2000 Conference Abstract and Applications, p. 178, 2000. [6] Kakeya, M. Isogai, K. Suzuki and Y. Arakawa, Autostereoscopic 3D Workbench, SIGGRAPH 2000 Conference Abstract and Applications, p. 78, 2000. [7] Kakeya, Autostereoscopic Display with Real-Image Virtual Screen and Light Filters, SPIE Proceedings Volume 4660: Stereoscopic Displays and Virtual Reality Systems IX, pp. 349-357, 2002. [8] H. Kakeya, N. Kobe, H. Kasano, Multivew Autostereoscopic Display with Floating Real Image, to appear in SPIE Proceedings: Stereoscopic Displays and Virtual Reality Systems XI, 2004. [9]小部直人,”空間像を利用した多視点裸眼立体表示装置の研究”,筑波大学工学シス テム学類卒業研究論文,2003 [10]笠野英弘 空間像を利用した多人数多視点裸眼立体表示装置の研究”,筑波大学工 学システム学類卒業研究論文,2004