Comments
Description
Transcript
アイコンの立体表示を可能にするウェアラブル拡張デスクトップシステム
アイコンの立体表示を可能にするウェアラブル拡張デスクトップシステム Wearable Extended Desktop System for Visualization of Stereoscopic Icons 坂根 裕, 塚本 昌彦, 西尾 章治郎 Yutaka SAKANE, Masahiko TSUKAMOTO, Shojiro NISHIO 大阪大学大学院工学研究科情報システム工学専攻 〒565-0871 吹田市山田丘 2-1, {sakane, tuka, nishio}@ise.eng.osaka-u.ac.jp Abstract: In recent years, many studies on the augmented reality (AR) technology have been done. They can support works in the real space by projecting information used in computers onto the real space, and moving users can utilize the information associated with certain places in the real place through mobile computers. In this paper, we show our design and implementation of a system called HMD-TOP in which a user can virtually put computer resources into the real world. In this system, a user wears a head-mounted display equipped two CCD-cameras and a magnetic sensor. By using this system, a user can watch stereoscopic icons and windows in the real space and use them by mouse operations. Key Words: drag-and-drop, augmented reality, wearable computing, head-mounted display 1. はじめに 安価なヘッドマウントディスプレイや小型の PDA,ネットワークアクセス可能な携帯電話の 登場により,モバイルコンピューティングやウ ェアラブルコンピューティング環境は一般的な ものとなってきた.さらに GPS や PHS の利用 により,ユーザの位置情報を用いた位置依存シ ステムの構築が可能となり,応用アプリケーシ ョンが注目されている.これらのシステムでは, コンピュータからアクセス可能な情報に緯度経 度や,住所などの位置情報を割り当て,ユーザ の位置をキーとして,関連する情報をユーザに 提示する.筆者らはこれまでに,急増している ファイルリソースの管理やコンピュータリソー スの共有作業空間の実現として,計算機で利用 していたファイルなどのコンピュータリソース に位置情報を与え,CCD カメラを備えた計算機 からアクセスできる拡張デスクトップ環境を提 案し,プロトタイプシステムの構築を行った[7]. しかし従来のプロトタイプシステムでは,図 1 のようにノート型の計算機を持ち歩いて利用す ることを想定しており,計算機の大きさや重さ, インタフェースの使い難さを考慮すると,モバ イル環境としての利用は困難なものがあった. そこで本研究では,ユーザがハンズフリーに 近い状態で拡張デスクトップ環境が利用できれ ば,より汎用性の高いシステムの構築が可能で あると考え,ユーザがハンズフリーになるウェ アラブル環境で本環境の実現することを目的と 図 1 拡張デスクトップシステム する.文献[10]では,ウェアラブルコンピュー ティングの特徴を次の 3 点としている. [ ハ ン ズ フ リ ー] コンピュータを身体に装着で き,常に両手が使える. [ 生 活 密 着] 常にコンピュータを装着した状態 で,日常生活を行える. [ 常 時 オ ン] コンピュータは常にオンにしてお くことができる. 本環境をウェアラブル環境で利用するために, 本研究ではカメラ画像をヘッドマウントディス プレイに表示し,ユーザはこれを装着する.さ らに常時システムを利用することを考慮すると, 従来のシステムのように平面的に拡張現実空間 を表示するだけでは十分でなく,ユーザの見る 現実空間や拡張情報が立体的に見える必要があ る.映像が立体的に見えなければ,距離感覚が つかめず,ヘッドマウントディスプレイを装着 図 2 HMD-TOP のディスプレイ部分 (a) 図 3 クライアントマシン (b) 図 5 空間ドラッグ・アンド・ドロップ 的に見ながら,マウスでこれらのリソースを操 作できる.本研究ではこのシステムを HMD-TOP システムと呼ぶ. 2. HMD-TOP システム 図 4 システム利用状況の例 したまま生活するのは危険である.さらに,ナ ビゲーションシステムなどでは,ナビゲーショ ン情報がどの場所に対応する情報であるのか直 観的に理解できることが重要であり,そのため には実世界と合成される情報との距離感覚が一 致していなければならない.本システムでは, 拡張現実空間を立体視できるように,ヘッドマ ウントディスプレイに 2 台の CCD カメラを装 着した. 本システムを利用することでユーザは, 実世界に配置したコンピュータリソースを立体 図 2 は,本研究で用いたヘッドマウントディス プレイである.このヘッドマウントディスプレ イには,2 台の CCD カメラと 1 台の磁気セン サが取りつけてある. 2 台の CCD カメラは実空 間を立体視するためのもので,右側に設置した カメラの画像を右のディスプレイに表示し,左 側に設置したカメラの画像を左のディスプレイ にリアルタイムで表示する.本システムでは, 左右のディスプレイに合成する画像を,2 台の 計算機でレンダリングしている.図 3 に今回用 いた 2 台のレンダリング用マシンを示す.各々 の計算機がカメラ画像を背景に,アイコンやウ ィンドウなど仮想的な物体を,ユーザの位置情 報に合わせて合成し提示する.図 4 に,システ ムの利用状況を示す.本システムは,ウェアラ (a) 図 7 ウィンドウの起動 ッグ・アンド・ドロップとマウスによる従来の ドラッグ・アンド・ドロップを組み合わせるこ とで,実空間の中で自由なアイコン移動が可能 となる. 2.2. ノーマルモード (b) 図 6 ドラッグ・アンド・ドロップ ブル環境での利用を想定しているため,操作イ ンタフェースとして従来の机上で使用するマウ スではなく,市販のスティックタイプのホイー ルマウスを利用する.本システムでは,3 次元 空間に配置したアイコンをマウスで自由に操作 するため,幾つかの操作モードをユーザに提供 している.以下に本システムの利用方法および, 各操作モードについて説明する. 2.1. 空間ドラッグ・アンド・ドロップ 拡張デスクトップ環境では,空間に配置した アイコンをスムーズに別の場所へ移動させる手 段として空間ドラッグ・アンド・ドロップを提 案している.本システムでも,空間ドラッグ・ アンド・ドロップをサポートしている. 図 5 に, 本システムにおける空間ドラッグ・アンド・ド ロップ操作例を示す.移動させたいアイコンを 視野に入れマウスでクリックし(図 5(a)参照), そのまま移動先へ頭を向けるだけでアイコン移 動が行える(図 5(b)参照).ユーザは,空間ドラ ノーマルモードでは,ユーザが従来のコンピ ュータで行っていたマウス操作に近い操作を行 えるモードである.HMD-TOP システムを起動 すると,最初はこのモードから始まり,マウス のホイール操作でモードを順に切り替えられる. ユーザは,実空間に配置されているアイコンを マウスの左ボタンを押しながらドラッグするこ とで,アイコンをユーザから見て上下左右に動 かせる.さらに右ボタンを押しながらドラッグ することで,アイコンは奥や手前へ移動する. 図 6 にアイコンのドラッグ・アンド・ドロップ 操作例を示す.HTML ファイルのアイコンが, ユーザからみて右下,奥へ移動している. アイコンをダブルクリックすると,アイコン に関連付けられたアプリケーションが起動する. 本システムでは,起動したアプリケーションの ウィンドウも実空間内に位置情報を与えて表示 する.ウィンドウが表示される初期位置は,ウ ィンドウのアイコンがある位置となる.図 7 に HTML ファイルアイコンをダブルクリックし たときの画面を示す.ノーマルモードではウィ ンドウをマウス操作できる.つまり,空間に配 置されているウェブページのリンクをマウスで クリックすると,リンク先のページが表示され る.しかし,ノーマルモードでは,ウィンドウ 自身の移動操作は行えない. 図 8 ウィンドウの移動操作 図 10 サーベルマウス 図 9 ウィンドウの回転操作 図 11 サーベルマウスの利用 2.3. ドラッグモード スティックタイプのマウスは,片手で操作す ることを想定しているため,マウスボタンを押 しながらスティックを倒すという,ドラッグ操 作は難しく,ノーマルモードで実現しているよ うな右ボタンを押しながらのドラッグ操作を自 由に行うには,相当な訓練が必要となる. ドラッグモードは,ノーマルモードのドラッグ 操作を簡素化し,アイコンやウィンドウを自由 に移動させるたり,回転させたりできるモード である.ユーザは,移動や回転させたいアイコ ンまたはウィンドウ上でマウスボタンをクリッ クする.ここで,左ボタンをクリックすると移 動操作ができ,右ボタンをクリックすると回転 操作が行える.移動操作は,空間ドラッグ・ア ンド・ドロップ操作とスティックによる奥行き 移動操作を組み合わせたものである.回転操作 は,スティック操作によって,視線方向を軸と した回転以外の回転が行える.図 8 に図 7 のウ ィンドウを手前に移動させたものを示し,図 9 にそのウィンドウを回転させたものを示す.ド ラッグモードでは, ウィンドウ操作は行えない. 2.4. サーベルモード サーベルモードは,従来の 2 次元的なアイコ ン選択ではなく,3 次元的なアイコン選択を可 能とするモードである.ユーザの持つマウスに は磁気センサを取り付けており,本モードにな ると,図 10 に示すようにマウスの先からサー ベルのポリゴンがでているように表示する.こ のサーベルはスティックの上下で長さを変更で き,アイコンを突いて左ボタンを押しながらサ ーベルを移動させると,選択されているアイコ ンもサーベルに合わせて移動する.磁気センサ によりサーベルの回転情報も得られるので,ア イコンを突いてドラッグしながらサーベルを捻 ると,アイコンやウィンドウをサーベルを軸と して回転させることができる. 図 11 にサーベルマウスの利用状況を示す. サーベルを利用していると,遠くのアイコンの 選択が困難になるため,画面の右下にサーベル の先から見たアイコンを表示している.つまり, 選択したいアイコンを画面の中央に捕らえなが らサーベルを伸ばしていくと目的のアイコンや ウィンドウが簡単に選択できる.アイコンを選 択しながら左ボタンをダブルクリックするとア イコンの起動が行える.アイコンを選択せずに 左ボタンをダブルクリックした場合,サーベル の延長線上にアイコンやウィンドウがあれば, サーベルはそのアイコンやウィンドウがある場 所まで伸びて,これらを選択できる.延長線上 にアイコンやウィンドウが存在しない場合,サ ーベルは最小の長さである 10cm になる.これ らの操作を応用し,ユーザ視点からでは重なっ て見えない,あるアイコンの奥にあるアイコン を素早く選択するには,まず手前にあるアイコ ンまでダブルクリックしてサーベルを伸ばす. さらにサーベルを伸ばして,右下のウィンドウ の中央に目的のアイコンを表示させ,ダブルク リックすることで選択できる. 3. 実装 3.1. システム構成 図 12 に本システムのシステム構成を示す. 本システムは 1 台のサーバと 2 台のクライアン トで構成している.2 台のクライアントはメッ セージのやり取りを除き基本的に独立して動作 しており,ビデオ画像やレンダリングの同期は 取っていない.従って,単眼視用のシステムや 複数の表示方法を持つシステムなどの構築が容 易で,単にクライアントを追加するだけであり, スケーラブルなシステム構成といえる. サーバでは,空間に配置しているアイコンの 位置情報,アイコン画像,起動しているウィン ドウの位置情報,ウィンドウの画像を管理して おり,クライアントからの要求によって,これ らの情報を提供する.サーバが受け取るクライ アントからの要求として次のものがある. [ ア イ コ ン や ウ ィ ン ド ウ 情 報 の 要 求] サーバが 管理している,空間内に配置したアイコンや ウィンドウの位置,画像情報の一覧要求 [ ア イ コ ン 位 置 の 更 新] ユーザのドラッグ操作 によって変更したアイコンの位置情報更新 [ ウ ィ ン ド ウ 画 像 の 作 成] ユーザが指定したリ ソースを起動し生成したウィンドウ画像の パスや URL の要求 [ ウ ィ ン ド ウ 操 作] ユーザがクライアント上で マウス操作したウィンドウへイベント通知 [ オ ブ ジ ェ ク ト の 破 棄] サーバが管理している アイコンやウィンドウオブジェクトの削除 サーバでは空間内に立体的にウィンドウを表示 するため,ウィンドウ画像の生成を行う.ウィ ンドウ画像を生成するには,起動しているウィ ンドウを常時管理し,要求されたウィンドウが 起動していなければ新たに起動し,画面のキャ プチャを行い画像をファイルに保存する.現在 サーバの OS には Microsoft 社の Windows98 を用いており,Windows98 では,あるウィン ドウの下にあるウィンドウの画像をキャプチャ できないため,要求されたウィンドウの Z オー ダをトップにしてから画像のキャプチャを行う. クライアントでは,最初にサーバに対しアイ コンやウィンドウの情報を要求し,得られる情 報からアイコン画像やウィンドウ画像をテクス チャとした板ポリゴンをカメラ画像上にレンダ リングする.位置および方向情報はクライアン トの 1 台に接続した磁気センサから取得し,も う1台のクライアントへ送信する.位置情報を 受け取ったクライアントはヘッドマウントディ スプレイに装着している CCD カメラの距離だ け移動した画像をカメラ画像上にレンダリング する.これにより,左右で視差のついた画像が 生成できる. ユーザのマウス操作は1台のクライアントが管 理し,アイコンをドラッグしたり,ウィンドウ を操作した場合,サーバにデータ更新やイベン ト通知要求を送信する.ウィンドウ画像のサイ ズやクライアントマシンのパフォーマンスを考 慮して,クライアントは起動しているウィンド ウの画像をリアルタイムには更新しない.ユー ザは,マウスカーソルの下にあるウィンドウを 注目していると仮定し,マウスカーソルの下に あるウィンドウ画像の更新要求をサーバに送信 する. 3.2. オブジェクトの情報 本システムでは,実空間に配置したアイコン の 情 報 を G-XML[13] を 用 い て 記 述 す る . G-XML とは,GIS コンテンツが利用者側の電 子地図や GIS エンジン等に左右されず自由に インターネット上を流通し、さらにデータの検 索や加工等も容易に行えるようにすることを最 終目的としたプロトコルであり,XML をベー Window image Window management module Create Request Event processing module Read/Update Icon data Object management server Window image URL Icon data Mouse event Window update event Magnetic sensor Rendering module Camera image CCD camera Location data Head -mounted display H M D -TOP system L (client) Rendering module Camera image Window image URL CCD camera Head -mounted display H M D -TOP system R (client) Location data 図 12 システム構成 スとして設計されている.G-XML を用いてリ ソース情報を記述することで,ナビゲーション システムなど,他のアプリケーションからのリ ソース利用が可能となる.本研究では,G-XML の中でも地図情報などの地物を記述するために 利用される RW-GXML を用いてアイコンの位 置情報を記述した.これにより,RW-GXML で 記述された地図情報と重ね合わせて情報を提示 するような,複数のシステム間でのデータ利用 が可能になる.以下に記述の 1 例を示す.この アイコンはファイル名が test.txt のテキスト アイコンである. <?xml version=”1.0” encoding=”Shift-JIS”?> <RW-GXML version=”1.0”> <Feature theme=”ExDesktop”> <Property name=”file”> file://share/test.txt </Property> <Point> <Coordinate> -1089,-1015,2134 </Coordinate> </Point> </Feature> </RW-GXML> RW-GXML の 記 述 は <RW-GXML> タ グ と </RW-GXML>タグの間に地物データを記述す る.本システムでは,アイコン情報を‘Feature’ 要素として記述し,アイコンのリソースパスを ‘Property’要素に,位置情報を‘Coordinate’ 要素に記述する.現在の記述は,使用用途の明 確でない`Property’要素を利用するなど,完全 に RW-GXML の仕様に当てはまってはいない. 3.3. 実装環境および使用機器 本 シ ス テ ム の 実 装 環 境 と し て , OS に Windows98 を用いたサーバマシン 1 台,クラ イアントマシン 2 台をネットワーク接続して利 用した.ヘッドマウントディスプレイには, SONY 社の Glasstron 2 台を分解して立体視で きる 1 台のヘッドマウントディスプレイを作成 した.CCD カメラとして SONY 社の VAIO CAMERA を 2 台,磁気センサは POLHEMUS 社の FASTRAK を使用した.開発言語は Visual Basic 6.0 を用い,ソースコードは約 2500 行と なった.現在システムのフレームレートは約 5 フレーム/秒である. 4. 考察 4.1. 関連研究との比較 コンピュータリソースに位置情報を割り当て 実世界に配置できる環境を実現する研究として, SpaceTag[9]がある.SpaceTag では,本研究の ような拡張現実的な情報提示は行っていないた め,リソースに対する直観的なインタフェース の実現は行っていないが,SpaceTag と呼ぶコ ンピュータリソースの振るまいや,アクセス権 などの定義が細かくなされている. Pick-and-Drop[4]は,計算機内のアイコンを 実際のペンで掴んで取りだし持ち運べる.仮想 的なアイコンを実物のペンとして持ち運べるた め,直観的なインタフェースを実現している. しかし,本システムで提案しているサーベルマ ウスのように,壁や机がない空間中にアイコン を置くことや,遠くにある壁にあるアイコンを 取り出すことはできない. IconSticker[8] は,計算機のアイコンをシー ルとして実世界に取り出せる.Pick-and-Drop 同様アイコンをシールという物として持ち歩け るが,アイコンの配置できる場所がシールの張 れる場所に限定されることや,シールを張ると いう動作が計算機操作と繋がっていないなどの 問題もある. 空気ペン[12]は,実世界上に仮想的な文字が 書けるインタフェースをユーザに提供している. このシステムを利用することで,ユーザは,実 世界中にコンテンツを自由に作成できる.本シ ステムでは,マウスはアイコンやウィンドウ操 作用のインタフェースであるが,空気ペンのよ うにコンテンツを作成するためのインタフェー スとして拡張できると考えられる. Phicon[3]もコンピュータリソースを物理 的に取り出すことを可能とするシステムであ る.本システムでは,アイコンを実際に物と して持ち運ぶことはできないが,全ての操作 をマウスで行えるため,従来の計算機操作環 境とシームレスな環境が実現できている. ハンドマウス[1]は,マウスと類似した役割 を果たす新しいウェアラブル入力インタフェ ースであり,ユーザの指先を利用してオブジ ェクトや領域の選択が可能となる.ユーザの 指を用いた制度の良い選択操作は,本環境に とっても有効なインタフェースになる.しか し,ハンドマウスにはドラッグ・アンド・ド ロップに対応する操作が無く,本環境のよう にオブジェクトを自由に移動させることは難 しい. 文献[11]のように,視線を利用したインタ フェースに関する研究も数多く行われている. 選択の精度が良くない,操作時間がかかると いう問題点もあるが,ユーザの視線を用いる ことで,ユーザが完全なハンズフリーになる という利点がある. 4.2. システムの拡張 現在のシステムは,位置測定に磁気センサを 利用しているため,本システムを装着したまま 外を歩き回ることはできない.今後,ユーザの 位置情報取得に地磁気センサ,GPS,ジャイロ センサなどを組み合わせることにより,屋外で の利用可能なシステム構築が可能となる. 遠隔地からある空間に配置されたアイコンの 利用に仮想空間を用いる IBNR-TOP[6]システ ムや移動型カメラを用いる ROBO-TOP[2]シス テムとのアイコン情報共有も重要なシステム拡 張である.アイコン情報を共有することで,遠 隔地から起動したアプリケーションを見ながら 協調作業できる在宅勤務システムなどの実現が 可能である.筆者らはアイコン情報を記述する ために,実空間アイコン記述言語[5]を提案した. 今後この言語を拡張し,本システムで利用して いる G-XML の対応が必要である. 現在のシステムでは,アイコンやウィンドウ と実世界との関連はなく,例えばアイコンを引 き出しの中へ移動させても引き出しの上に表示 される.実世界に存在する机や壁や建物の簡単 な位置や大きさの情報を持つことで,必要のな いアイコンやウィンドウを隠すことができる. 入力インタフェースの改良もシステム拡張 の 1 つである.4.1 節で述べたような指先や 視線を利用したインタフェースを組み合わせ て利用することで,より柔軟なオブジェクト 操作が可能となる.サーベルマウス操作の拡 張として,マウスボタンをクリックしている 間,サーベルに触れたアイコンをサーベルに 張りつけて移動できる鳥もち機能や,サーベ ルの代わりに網を投げつけてアイコンを複数 選択できる投網機能などが考えられる. 4.3. 応用システム 本システムを常時着用するような環境が一般 的になると,街中や店先を歩いている人に対す る宣伝用の看板は実際の看板を利用する必要は なくなる.つまり,店の看板に看板の画像をア イコンとした html ファイルを利用することで, クリックするとウェブページが参照できる看板 が実現できる.アイコン画像をリアルタイムに 2001 (2001). [3] Moore, J. D., Want, R., Harrison, L. B., Gujar, A., and Fishkin, P. K.: “Implementing Phicons: Combining Computer Vision with InfraRed Technology for Interactive Physical Icons,” in Proc. of ACM Symposium on User Interface Software and Technology (UIST99), pp.67-68 (1999). [4] Rekimoto, J.: “Pick-and-Drop: A direct manipulation technique for multiple computer environments,” in Proc. of ACM 5. まとめ Symposium on User Interface Software and Technology (UIST’97), pp.31-39 (1997). 本稿では,ヘッドマウントディスプレイを用 [5] 坂根裕, 塚本昌彦, 西尾章治郎: “拡張デスク いたウェアラブルな拡張デスクトップシステム トップ環境における実空間アイコン記述方 である HMD-TOP の実現方法について述べた. 法について,” SPA’99 論文集 (1999). さらに実空間に配置したアイコンを操作するた [6] 坂根裕, 小川剛史, 塚本昌彦, 西尾章治郎: めのマウスを使った操作方法の提案を行った. “仮想空間を利用した計算機リソース管理環 本システムを利用することで,従来計算機内だ 境の実現,” サイバースペースと仮想都市研 けで利用していたアイコンやウィンドウを立体 究会 (2000). 的に実世界へ取り出し,マウスを用いて自由に [7] Sakane, Y., Masahiko, T., and Nishio, S.: 操作することや,実空間を利用した直観的なリ “The Extended Desktop System for Real ソース管理,複数ユーザ間でのアイコンやウィ World Computing using Camera Images,” ンドウの共有空間の構築が可能となった. in Proc. of SAINT-2001, pp.195-204 (2001). 謝辞 [8] 椎尾一郎, 美馬義亮: “IconSticker: 実世界に 取り出した紙アイコン,” インタラクティブ 末筆ながら,本研究を行うにあたり有益なご システムとソフトウェア VI( 日本ソフトウェ 助言を頂いた岸野文朗教授,NTT コミュニケー ア科学会 WISS'98), pp. 105-114, 近代科学 ション科学基礎研究所の柳沢豊氏,西尾研究室 社 (1998). の上田宏高氏,中村聡史氏をはじめとする西尾 [9] Tarumi, H., Morishita, K., Nakao, M., and 研究室の諸氏に感謝の意を表す.なお,本研究 Kambayashi, Y.: “SpaceTag: An Overlaid の一部は,日本学術振興会未来開拓学術研究推 Virtual System and its Applications,” in 進事業における研究プロジェクト「マルチメデ Proc. of ICMCS’99, vol.1, pp.207-212 ィア・コンテンツの高次処理の研究」(プロジェ (1999). クト番号: JSPS-RFTF97P00501)によっている. [10] 塚本昌彦: “モバイルコンピューティング,” ここに記して謝意を示す. 岩波科学ライブラリー77,岩波書店 (2000). 参考文献 [11] Vildam, T. and Robert, J. K. J.: “Interacting [1] 蔵田武志, 大隈隆史, 興梠正克, 坂上勝彦: ” with Eye Movements in Virtual ハンドマウス:ビジュアルウェアラブルズが Environments,” in Proc. of CHI 2000, 可能にする拡張現実環境に適したインタフェ pp.265-272 (2000). ース,”信学技報, PRMU2000-156, pp.69-76 [12] 山本吉伸, 椎尾一郎: “空気ペン−空間への描 (2001). 画による情報共有−,” 第 59 回情報処理学会 [2] 小寺崇士, 坂根裕, 塚本昌彦, 西尾章治郎: 全国大会講演論文集(4), pp.39-40 (1999). “ROBO-TOP:移動型カメラを利用した拡張 [13] G-XML homepage,http://gisclh01.dpc.or. デスクトップシステム,” インタラクション jp/gxml/. 変化させたり,3 次元モデルをアイコンの見た 目として利用すると,従来よりも安価でインパ クトのある看板が簡単に作成できる. 新しいプレゼンテーションシステムも構築で きる.従来のプレゼンテーションでは,公演者 が容易したスライドを使って説明するのが一般 的であった.このアプリケーションでは,公演 者と聴衆が共に本システムを利用することで, 公演者は説明に 3 次元映像を利用したり,これ らのリソースを聴衆に渡して情報共有できる新 しいプレゼンテーション環境が実現できる.