空中投影型裸眼立体ディスプレイによる 複合現実環境での

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
空中投影型裸眼立体ディスプレイによる 複合現実環境でのインタラクション Design of 3D interactions in mixed reality environment using an aerial autostereoscopic display
上田雄太 1)，田中博和 1)，柴埼美奈 1)，新居英明 2)，南澤孝太 1)，舘暲 1)
Yuta UEDA, Hirokazu TANAKA, Mina SHIBASAKI, Hideaki NII, Kouta MINAMIZAWA and Susumu TACHI
1) 慶應義塾大学大学院メディアデザイン研究科
(〒223-8526 神奈川県横浜市港北区日吉 4-1-1, [email protected])
2) （株）IIJ イノベーションインスティチュート
(〒101-0051 東京都千代田区神田神保町 1-103 東京パークタワー2F)
概要: 創作活動においてその作業空間は紙面上や PC ディスプレイ上といった２次元平面状での作業がほとんどであった．
そこで本研究では複合現実環境において実物体に重畳された３D スケッチの描画を可能にすることを目的として，これま
で開発してきた裸眼 3D ディスプレイ HaptoMIRAGE を用い 3D スケッチを行うインタラクティブコンテンツを実装した．
キーワード:
3D スケッチ，3D ディスプレイ，裸眼立体視，複合現実感
1. はじめに
2. 空中投影型裸眼立体ディスプレイ
創作活動においてプロトタイプを作るときなどには，手
HaptoMIRAGE は Nii ら[3]によって提案された ARIA:
描きのスケッチや，CAD などの 3D モデリングツールによ
Active-shuttered Real Image Autostereoscopy 手法に基づいて
って，構想を練ることが多い．しかしこれらは紙や LCD
裸眼立体視を実現している．図２に示すように LCD ディ
ディスプレイなどの 2D 平面上での作業でありユーザが３
スプレイ，透明液晶パネル，フレネルレンズの 3 つで構成
次元的な創作物を作ろうとする際にも，それを一旦２次元
されている．LCD ディスプレイは描画フレーム更新の度
に落とし込まなければならず，創作活動において余計なプ
に左右の眼に対応して切り替わる視差映像を描画するた
ロセスが入ってしまう．
めに用いる．透明液晶パネルはアクティブシャッターとし
そこで，我々は創作活動の場を３次元空間に拡張すべ
て使用し，フレネルレンズは映像を空中に実像として投影
く，広視野領域観察可能な図１に示す裸眼立体ディスプレ
するために用いている．本システムではこの手法で構築さ
イ HaptoMIRAGE[1][2]を発表した．本システムでは広い範
れた 3D ディスプレイを 3 ユニット連結させることで広視
囲から複数人で観察可能な 3D 映像を空中に投影できる．
野範囲からの観察を実現している．これにより約 150°の
本稿では，このシステムを利用して，ユーザが手を映像に
視野角で 3D 映像を観察することができるようになるほか，
伸ばしたり，3D 映像の投影位置に実物体を置いたり，実
互いの行動が阻害することのない広さにおいて，複数人で
物体を介して 3D 映像を操作するような，空中における 3D
空中に投影した 3D 映像を共有することを可能とした．
映像を用いたインタラクティブコンテンツを実装した．
LCD display
Active shutter
Fresnel Lens
Autostereoscopic
Right-eye view
Us
er2
Us
Left-eye view
er3
Real image
User1
図２:システム構成図 図 1:空中投影型裸眼立体ディスプレイ HaptoMIRAGE 185
また，2012 年に提案した Fuwa-Vision[3]では Kinect v1
たことも可能となる．
を用いてユーザの頭部位置を検出していた．2013 年に表
3.3 ポイントクラウドを用いた実物体の３D 投影
示領域を拡張した広視野型裸眼立体ディスプレイ[1]を開
本システムでは 3D 映像として投影できるものは既に用
発した際には，3D 映像の観察範囲を広げるにあたり画角
意された 3D 映像だけではなく，Kinect などの深度センサ
やユーザ検出の精度の都合上 Kinect を使うことができな
ーを用いて PointCloud などで３次元形状を表現すること
かったため，Natural Point 社の Optitrack を用いた．しかし，
で，リアルタイムに実物体の形状を 3D 映像として表示す
Optitrack ではユーザ頭部に再帰性反射マーカをつけなけ
ることもできる．図 5 では遠隔地にいるユーザの 3 次元形
ればならず，本研究の本来の目的である一切の装着無しに
状も取得し，実空間中にポイントクラウドの 3D 映像とし
3D 映像を観察することが不可能となっていた．そこで，
て投影している様子である．Kinect の深度センサーを用い
今回深度センサーに Time of Flight(TOF)方式を採用しノイ
れば自身の体を 3D で飛ばすことも可能であり，今後の展
ズが乗り難くユーザ一検出の精度が向上した Kinect v2 を
開として３D 映像の体を自身の体するテレイグジスタン
使用した．
スなどの研究にも期待できる．
3. インタラクティブコンテンツ
3.1 実物体を介したインタラクション
本システムは実物体上へ 3D 映像を重畳することができ
る．それ故，玩具や芸術作品，商品などの展示などにおい
て，炎や雪などのエフェクトを実物体上に重畳することが
できる．また，3D 映像を重畳するだけでなく，実物体を
介して 3D 映像を操作することを可能とする．そこでステ
図 5 ポイントクラウドを用いたユーザ像の提示
ージの内部にポテンシャルメータを組み込むことで，ステ
ージの回転角度に応じて 3DCG も回転するようにし，例え
4. 結論
ば実物体のステージ上に 3DCG の車を表示した際に，ただ
空中投影型裸眼立体ディスプレイの実物体上への重畳
鑑賞するだけでなく，ステージを回転させることで，車も
を踏まえた 3D 映像を用いたコンテンツを考案してきた．
同時に回転させることができ車を様々な角度で観察でき
コンテンツをデザインする際に得られた知見として，3D
るようになった．
映像を直接的に操作する場合， 3D 映像に触れた際にユー
ザに対するフィードバックが無いため，操作することが難
しいことを確認した．それ故，3 次元空間で 3D 映像を用
いたコンテンツを開発する際には，3D 位像の物体面の境
界を認識できるよう触覚フィードバックなどを返す必要
があると考えられるため，今後は触覚ディスプレイの実装
を行っていく．
なお，本システムは今後 SIGGRAPH2014 と CEDEC2014
図 3:実物体を介した 3DCG の操作
にて展示発表を予定している．
3.2 空中における 3 次元スケッチ
謝辞 本研究は JST-CREST「さわれる情報環境」プロジェ
本システムでリアルタイムに 3D 映像をインタラクティ
クトの一環として実施された．
ブに操作できることことを示すために，空中に置ける３次
元スケッチのアプリケーションを実装した．ユーザはペン
参考文献 型のデバイスを用いて 3 次元空間上をなぞることで，ユー
[1] 上田雄太，花光宣尚, 水品友佑, 柴埼美奈, 新居英明，
南澤孝太，舘暲:広視野を有する実像提示型裸眼立体デ
ザは空中に光線でスケッチを行うことができる．ペン型の
デバイスには再帰性反射材マーカが貼付けてあり，
ィスプレイ，日本 VR 学会第 18 回大会，21D-4 (2013.9)
OptiTrack を用いることで位置検出をしている．ユーザは
[2] Ueda, Y., et al. “HaptoMIRAGE: Mid-air Autostereoscopic
このペンを３次元空間中で持ち，ペンについているボタン
Display for Seamless Interaction with Mixed Reality
を押すことで光線を出してペン先から描くことができる．
Environment”,
これは本来紙の上で 2 次元的に行うスケッチのような創
Technologies, Vancouver(2014.8)
[3] H.
作作業を 3 次元空間に拡張したものである．本システムで
Nii,
et
ACM
al.
SIGGRAPH
"Fuwa-Vision:
an
2014
Emerging
auto-stereoscopic
は実物体上に 3D 映像を重畳することができるため，実物
floating-image display", ACM SIGGRAPH Asia 2012
体の上に直接 3D 映像の線を使ったスケッチを行うと言っ
Emerging Technologies, Singapore (2012.12)
186