Comments
Description
Transcript
3.3 アンビエントインタフェース領域
3.3 アンビエントインタフェース領域 3.3.1 はじめに アンビエント情報環境では，人は必ずしもコマ ンドのような形で明示的に指示を与えずとも，環 境側が場の状況を察知することによって，そこに いる人に適切な情報を適切に与えることが期待さ れる． そのためには，まず，人がなんらかの活動をして いる場の状況をリアルタイムに察知するためのセ ンサが必要となる．人の明示的ではない行動など から場の状況をリアルタイムに正確に察知するた めには，さまざまな種類のセンサを多数環境に配 置し，それらから得られる情報を総合的に判断す る必要がある．しかし，これら多数のセンサから 得られる情報は，必ずしもいつも一貫していると は言えず，時には競合または矛盾する場合も少な からず生じることが予想される．しかも，場の状 況変化や故障などの不具合，新しいセンサの導入 などによって，使用するセンサの種類や数は頻繁 モデルとして記述し，インタフェースがこのアト ラクターに干渉して任意の摂動を生じさせること ができれば，強制された違和感の少ない，自然な 行動の誘導を実現できることになる．アンビエン ト情報環境におけるアンビエントインタフェース では，このように生物に学ぶ人−機械系を構築し， 人に寄り添い人と協調して行動することが求めら れる． 本研究領域では，以上のような考えに基づき，ア ンビエント情報環境におけるインタフェースを実 現する要素技術を確立するため，今年度は次の研 究課題に取り組んだ． • センシングに基づく適応的な情報提示に関す る研究 • 情報空間の構築と複数の人間の相互作用に関 する研究 • 生物に学ぶ人間−機械系の構築: 協調型行動支 援インタフェース に変動する可能性もある．そこで，アンビエント 情報環境におけるインタフェースでは，このよう 次章以降では，各項目ごとに本年度の検討内容を な曖昧性を含んだセンサ情報に柔軟に適応し，適 記す． 応的に情報提示を行う必要がある． 次に，環境中の人の活動に応じて，適切な情報 を人に適切に与えることができる情報提示の仕組 みを考える必要がある．そのためには，環境中に 複数配置された情報提示装置を状況に応じて的確 に組み合わせて利用することが必要となる．また， 3.3.2 センシングに基づく適応的な情報提示に関 する研究 3.3.2.1 概要 アンビエントインタフェースは人の多種多様な このように構築された情報空間で複数の人が作業 活動を支援することを想定している．今年度は，ソ や議論をする際に，場の状況を察知して場合によっ フトウェア開発，Web 閲覧，屋外ナビゲーション， ては適切に活性化することも求められる．そこで， および，音楽コンテンツ生成のそれぞれの作業に アンビエント情報環境におけるインタフェースで ついて，作業の状況をセンシングし適切な情報提 は，場の状況変化や故障などの不具合，新しい情 示を行う以下のアンビエントインタフェースにつ 報提示装置の導入などによって，使用する情報提 いて検討した． 示装置の種類や数が変動する場合でも，柔軟かつ 的確に適応して情報を人に提示する必要がある． また，アンビエントインタフェースの目指す「人 に対する当意即妙の支援」を実現するためには，人 • 書きかけのソフトウェアの断片を手がかりに 有用なソフトウェア部品を自動的に提供する ソフトウェア開発支援インタフェース スがその様式に合った支援活動を行うことが求め • アトラクター選択によりユーザプロファイル を決定することで，そのユーザが今必要とす られる．例えば，人の行動をある種のアトラクター る情報を検索できる Web 検索インタフェース 間自身の意図や行動の様式を知り，インタフェー • 画面外の情報を「標識」で示しスクロール方向 いわれている．しかし，多くの開発者は，どのよ を制限することで，画面の小さな携帯電話で うな部品が再利用可能として提供されているのか も快適に利用できる Web 閲覧インタフェース を熟知していないために，たとえばインターネッ ト上の情報検索エンジンに与える検索キーワード • 端末の画面サイズや，ユーザの嗜好，周囲の状 況などを考慮し，同一のコンテンツの表示スタ イルを適切に変える Web 閲覧インタフェース を開発者が指定できず，また，検索そのものを行 おうとしない，という状況が生じている． この問題に対して，本研究では，Ye らが提案し たソフトウェア部品の自動検索1 を，アンビエント • 店舗など屋外の事物に関する情報を，ユーザの 注視方向，姿勢，運動などによりフィルタリン グし，三次元的に重畳表示するインタフェース インタフェースの枠組みを用いて実装した．試作し た A-SCORE (Automatic Software Component Recommendation Environment) は，開発者がエ ディタ上でソースコードを記述しているとき，カー ソル位置に近いソースコード上に出現した変数名 などと類似したソフトウェア部品を自動検索する． これによって，開発者の本来の作業を妨げること なく，開発者の作業状況に応じて有用なソフトウェ ア部品を随時検索し，提示し続ける開発環境を実 現した． A-SCORE のスクリーンショットと動作の様子を 図 3.3.1 に示す．その動作は次の通りである． • 人間の感性を学習し，得られた知識を用いて 個人の嗜好に沿った楽曲を自動生成するイン タフェース 以下では，これらについて順に述べる． 3.3.2.2 ソフトウェア開発者のためのアンビエン トインタフェース ソフトウェア工学の観点におけるアンビエント インタフェースの有効性の調査と，アンビエント 1. 開発者は，エディタを用いてソースコードを 記述する． インタフェースの実現のためのソフトウェア開発 基盤に関する研究を行っている．ソフトウェア工 2. カーソル移動など，ソースコードを編集する 操作が途切れたことを検出すると，カーソル 位置周辺のソースコードに出現した変数名な どの識別子から検索クエリを生成し，検索用 サーバに送信する． 学におけるゴールの 1 つは，高品質のソフトウェ アシステムを限られたコストや時間で適切に構築 することである． 本年度は，このような目標に対して，ソフトウェ ア開発者が使用する開発環境にアンビエントイン タフェースの枠組みを取り込むことで，開発者に 3. 検索サーバは，検索クエリに従ってソフトウェ ア部品を検索し，クエリに対する適合度が高 いものから順に並べた一覧を返す． よるソフトウェア部品の効果的な再利用を促進し， ソースコード記述作業の生産性を向上する開発環 境の試作を行った．具体的な実装方法としては，オ ブジェクト指向プログラミング言語の 1 つである 4. 検索結果はエディタ下部の独立したビューに Java を対象として選択し，既存の統合開発環境 Eclipse の機能拡張を行った．この拡張機能は，開 表示される．開発者は，それら部品のソース 発者が Eclipse 上のエディタを用いてソースコー クリック操作のみで現在開発中のプロジェク ドを記述している最中に，書きかけのソースコー トに組み込むことができる． コードや付加情報を参照できるほか，マウス ド断片の情報に基づいて，その実装に有用であろ インターネット上で公開されているソフトウェア うと推測されるソフトウェア部品（ライブラリ）を 部品 25488 個を検索エンジンに格納し，被験者４ 検索し，開発者に提供する．これにより，開発者 名による対照実験を行った．小規模なソフトウェア は明示的な検索を行うことなく，ソフトウェア部 を作成する作業状況を観測したところ，A-SCORE 品を再利用することが可能となる． ソフトウェアの部品化と再利用は，ソフトウェ 1 Ye, Y. and Fischer, G.: Reuse-Conducive Development Environments. Journal of Automated Software Engineering, Vol.12, No.2, pp.199–235, 2005. アの生産性と品質を向上するために有効であると 2 図 3.3.1: ソフトウェア部品の自動検索環境 A-SCORE による部品推薦のない状況では被験者らは再利用 ザは多数の有益な情報の中から，自分にとって必 をまったく行うことがなかったが，A-SCORE に 要な情報を含むページを一つ一つ閲覧しながら探 よる部品推薦リストによってソフトウェア部品の さなければならない．つまり Web 検索において， 再利用が行われるようになることを確認した．そ アンビエント情報社会が目的とする， 「いまだから， して，再利用の結果，作成されたソフトウェアの ここだから，あなただから」という理念が必要と 欠陥の数が減少することを確認した．一方で，再 されている． 利用にあたってソフトウェア部品の使用法を調べ このようなアンビエントな Web 検索を実現する るという追加の作業が生じることから，作業時間 ためには，ユーザ個人のプロファイルに基づいた， そのものは短縮されなかった．今後の課題として， 検索結果のパーソナライズが有効である．Web 検 開発者の現在の作業状況に基づいて，ソフトウェ 索をパーソナライズすることにより，各ユーザの ア部品の使用方法までを推測，提示する手法の開 プロファイルにそった， 「そのユーザ」が「今現在」 発が挙げられる． 必要としている情報を検索結果の上位に表示でき なお，本成果については，2009 年 5 月に開催する る．ここで Web 検索のように，ユーザの意図がダ ソフトウェア工学に関する国際会議（IEEE/ACM イナミックに変化する環境では，ユーザプロファ International Conference on Software Engineering）において，ツール・デモンストレーションと して発表を行うことが決定している [1]． イルの変化に迅速かつ柔軟に対応することが重要 である． そこで本研究では，生物ダイナミクスをモデル 化したアトラクター選択をユーザプロファイリン グに応用し，ユーザプロファイルの変化に迅速かつ 3.3.2.3 生物ダイナミクスを応用したユーザプロ ファイリング手法 柔軟に対応するプロファイリング手法を提案した 現在 Web から必要な情報を含む Web ページを [2]．提案手法では，ユーザプロファイルをアトラ クター，その変化を環境変化とし，適切なプロファ 入手するためには検索エンジンの利用が主流となっ イルをアトラクター選択モデルに基づいて決定す ており，検索エンジンの多くは Web ページのリン る．具体的には，ユーザプロファイルを「スポー ク構造に基づいて検索結果のランクを決定してい ツ」や「政治」など，予め設定したカテゴリのラン る．しかし Web 上には膨大な量の情報が存在して キングとし，各カテゴリの重要度，すなわちランク おり，またユーザが検索対象とする情報も多様化 をアトラクター選択により決定する．ここでカテ した結果，既存のランキング手法では推薦すべき ゴリは，著名なポータルサイトが提供する Web サ 候補を絞り切れなくなっている．そのため，ユー イトのカテゴリ分けを参考に決定しており，Web 3 ページにはそのカテゴリが予め与えられているも のとする．そして，ユーザが閲覧した Web ページ における，ページの閲覧時間とそのページでのリ ンク選択の有無により，現在のプロファイル（ア トラクター）における活性度を計算し，次の状態 でのプロファイルを決定する． 現在手法を設計し，シミュレーションにより有効 性を検証している．今後システムを実装し，ユー ザ評価を実施する予定である．また，現在はユー ザプロファイルの各カテゴリは独立したアトラク ターとしてモデル化しているが，現実には「健康」 と「生活」といったカテゴリは正の相関， 「エンター テイメント」と「政治」は負の相関をもつなど，相 互に影響を与えるものと考えられる．今後，アト ラクター重畳の概念を応用することにより，この 図 3.3.2: ドライブメタファを用いた Web ブラウザ ようなカテゴリの相互作用を考慮したプロファイ リング手法について検討する必要がある． こで本研究では，ドライブメタファを用いた携帯 電話用 Web ブラウザを試作した [3, 4]．本ブラウ 3.3.2.4 携帯電話ユーザのためのドライブメタファ を用いた Web ページ提示 ザでは，Web 閲覧をドライブに擬え，Web ページ 上に道路を設置し，閲覧を補助するための標識を 携帯電話を用いた Web 閲覧が一般的になってい 表示する（図 3.3.2）．道路を設置することで，ユー るが，WWW 上で大部分を占める，デスクトップ ザのスクロール操作を制限し，闇雲なスクロール PC での閲覧を前提として作成されたページは，小 さな画面と貧弱な入力インタフェースしか持たな い携帯電話では快適に閲覧できない．人間と情報 環境とのシームレスな融合を実現するアンビエン ト情報社会において，このような使用する端末の 多様性により生じる問題は解決しなければならな い．つまり，どのような端末をユーザが用いたと しても，その端末に応じた情報提示を提供するこ とで，ユーザが必要な情報にストレスなくアクセ スできる機能を実現する必要がある． 携帯電話の場合，特にその小さな画面上には， によりユーザが方向感覚を失ってしまうことを防 Web ページのごく一部分しか表示できないため， ユーザはページの全体像を把握できず，目的の情 同一の Web コンテンツのスタイルや Web アプ リケーションの機能などを，これにアクセスする 報を探し，閲覧するためには闇雲なスクロール操 端末の画像サイズ，解像度，メモリ容量や CPU パ 作を繰り返さねばならない．その結果，Web ペー ワーなどの計算機資源，あるいは利用する周囲環 ジ内で閲覧している位置や，どの方向へ進めば目 境の状況を考慮して，適切かつ自動的に変換する 的の情報を発見できるのかといった方向感覚を失っ 手法を研究している．これにより，特にデスクトッ てしまう． プ PC 用のコンテンツを小型端末から容易に利用 ぐ．さらに，標識には周辺や進行方向先にあるコン テンツの内容を提示し，ユーザがスクロール方向 を決定する見通しを立てるための補助をする．評 価実験では，一般的な携帯電話用商用ブラウザで ある NetFront との実機端末による比較評価を実施 し，MotoBrowser の有効性を確認した． 3.3.2.5 ユビキタス環境における小型端末に適し た情報提示 この問題を解決し，携帯端末を用いたアンビエ できる．前年度までに，当該研究の先行研究調査 ントな情報閲覧環境を実現するため，Web ページ を行った．例えば，ある画像をその内容を解析し 上でユーザをナビゲートすることが有効である．そ 背景領域のみを縮小することで目的のサイズに縮 4 る．前年度までに，ネットワーク型ウェアラブル 同一のコンテンツのスタイルをブラウザの種類ご AR システムにおける注釈情報の効率的なフィル タリングのための，現実環境を考慮したデータ構 造と，ユーザの向きの変化量を利用した動的な優 先度評価手法，および優先度評価の結果を素早く 反映させるための注釈の分割・重み付き送信手法 を提案した [5, 6]． 平成 20 年度は，情報配信機構を拡張し，ユーザ の身体動作をモニタリングすることでより状況に 適した情報提示を行った．また，構築したネット ワーク型ウェアラブル AR システムのデータベー スに JR 大阪駅近辺のレストラン情報 1800 件を入 力し，実際にその動作を確認した [7, 8]． 図 3.3.5 に構築したネットワーク型ウェアラブル AR システムのデータフローを示す．位置推定モ ジュールでは GPS とジャイロセンサを用いてユー ザの位置と頭の向きを，状況認識モジュールでは 加速度センサを用いてユーザの身体動作をそれぞ れ推定する．ネットワークモジュールではこれら の情報をネットワーク上の注釈情報サーバに送信 し，適切な注釈情報を受信する．これらの注釈情 報はキャッシュモジュールを経て，最終的に描画モ ジュールによって適切に HMD に表示される． 状況認識モジュールでは，想定した 5 種類のコ ンテキスト（「座位」， 「立位」， 「歩行」， 「走行」， 「自転車」）のうち，ユーザが現在どの状態にある かを実時間で認識する．まず，両足の大腿部に装 着した無線の小型三軸並進加速度センサの値（過 去 2 秒間）を STFT にかけ，そのパワースペクト ルを事前に SVM（Support Vector Machine）で学 習しておく．認識時はこの識別器により実時間で コンテキスト認識を行う．また， 「座位」から「立 位」には遷移しやすいが「走行」から「自転車」に とに変更している例である．現在，Cocoon フレー は遷移しにくいなど，コンテキスト間の状態遷移 ムワーク上で UAProf を用いたデリバリ・コンテ の容易性を考慮し，ロバストな認識を行っている． キストの抽出が行えるよう，実装を進めている． さらに，認識されたコンテキストにより注釈情 図 3.3.3: Presentation views for PC and Mobile Emulator 図 3.3.4: Presentation for different browsers type 小する研究，グラフィカルユーザインタフェース を XML で記述して汎用性を持たせる研究などに ついてサーベイを行った． アクセスする端末に合わせて Web サーバが提供 する情報を変化させるためにはデリバリ・コンテキ ストとして知られる端末能力の記述が必要である． 平成 20 年度は，デリバリ・コンテキストの記述を 行うために，本研究に合ったフレームワークの選 定と検証を行った [9]．現在デリバリ・コンテキス トを記述するための標準として W3C が策定した CC/PP と WAP Forum が策定した UAProf が存 在する．本研究では XML 文書を各種スタイルに変 換する Cocoon フレームワークを用い，テキスト ファイルを用いて試作システムを構築した．試作 システムでは，Cocoon にアクセスする端末の種類 に合わせて，予め定義したプレゼンテーションス タイルを適用したコンテンツを配信することがで きる．図 3.3.3 は，PC からのアクセスでは HTML を，携帯電話からのアクセスでは WML を配信す ることで同一のコンテンツを端末の種類に合わせ て表示できている例である．また，図 3.3.4 では， 報の提示方法を切り替える．例えば「走行」と「自 転車」の場合，安全のために注釈情報は完全に非 3.3.2.6 ネットワーク型拡張現実感システムに適 した情報配信 表示とする．また， 「歩行」の場合は通常通り注釈 情報を表示し， 「座位」や「立位」で移動していない 現実環境に計算機情報を重畳表示する拡張現実 場合は，注釈の詳細情報を表示する．以上に述べ 感 (AR, Augmented Reality) 技術を用い，現実物 た注釈情報の提示方法の切り替えの様子を図 3.3.6 体に関する注釈情報を屋外のユーザの状況に合わ に示す． せて配信・提示するシステムの構築を目指してい 5 得られる連続数値データを小節毎に切り 出し平均化 Devices wearable sensors annotation database database module networking module context module HMD rendering module cache module raw data from sensors 閾値に基づき5段階に評価付け position detection module 閾値 networking module Wearable PC Server position orientation GPS and orientation sensor estimated context annotations rendered image 図 3.3.5: ネットワーク型 AR システムのデータフ ロー 対応する小節に直前の2小節を 加えたものを楽曲情報とする 図 3.3.7: 脳波センサを用いた感性獲得の手順 (a) context: sitting (b) context: standing / walking そこで，生理‐生体信号である脳波を解析し，楽 曲の評価付けを行なう手法を提案する．脳波は連 続データとして得られるため，これを解析するこ とにより，楽曲提示中の感性の変化を知ることが できる．このため，楽曲をより細かい小節単位で (c) context: running / biking 評価できるようになり，1 曲から多数の訓練例を得 図 3.3.6: ネットワーク型 AR システムの情報提示例 ることが可能となるため，学習に十分な訓練例を 短時間で評価することができる． 脳波の解析には (株) 脳機能研究所が開発した 3.3.2.7 センサデータに基づく音楽コンテンツ生成 ESA-16 を用い，感性スペクトル解析法により行っ た．これは，予め定めたマトリクスを用いて，脳 内活動によって生み出される頭皮上電位分布の相 関パターンを入力として，喜怒哀楽などの感性を 数値化して出力させるものである． 楽曲を 1 小節ごとに分けてそれぞれを訓練曲と し，各訓練曲に直前の 2 小節の楽曲情報を加える． 感性は 1 小節のみからではなく，前の小節からの 流れの影響があって初めて喚起されると考えられ るからである．また，このことにより和音列につ 近年，人間に対する学際的理解を深めるため，感 性を扱う研究が盛んに行われている．音楽に関す る分野でも，音楽が人間の感性に与える影響につ いての研究や，人間の感性を用いた音楽検索等，感 性に関連する幅広い研究が行われてきている．報 告者らは，人間の感性を学習し，得られた知識を 用いて個人の嗜好に沿った楽曲を自動生成する手 法を開発してきた． この手法では，感性を学習するためにユーザに 既存の楽曲を聴かせて，手入力で感性毎に 5 段階評 いての情報が得られる．次に感性スペクトル解析 価を付ける SD 法 (Semantic Differential Method) によって得られる 0.64 秒ごとの各感性の数値化さ により評価値を得る．次に，楽曲の情報とユーザ れたデータを 1 小節分ごとに切り出して平均化し， の評価値から，ユーザの感性と関連のある楽曲構 ある閾値に基づき 5 段階に評価付けする．この評 造を，帰納論理プログラミング (ILP) を用いて一 価値と訓練曲を対応させ，訓練例とする．閾値は 階述語論理形式で学習する．得られた述語を基に ユーザの全曲を通しての感性の平均値と，最大値， 適合度関数を構成し，遺伝的アルゴリズム (GA) 最小値から個別に算出されるもので，定常状態の によって作曲を行う．しかしながら，SD 法では訓 違いや，感性の振幅の違いなどの個人差を吸収で 練曲を 1 曲ごとにしか評価することができず，学 きるように定めた． 習に十分な評価データを得るのに多大な時間がか 本手法により，SD 法に比べて提示する楽曲数が かっていた． 大幅に少なくなるため，以前より 1 曲 1 曲の提示 6 楽曲が重要になってくる．そこで過去の 33 人分の 以下では，これらについて順に述べる． SD 法の評価データを解析し，感性の喚起されやす い楽曲を選んだ．ほぼ全ての人が同じ感性を喚起 される曲，人によって感じ方に差の出る曲を感性 の指標それぞれについて，まんべんなく選んだ． 検定の結果，悲しみ (sad) については被験者の 感性に応じた作曲を行えることを確認した．従来 手法では，訓練曲を 75 曲聴いて評価を手入力する 必要があり，どんなに早い人でも評価に 1 時間は かかっていた．提案手法では，訓練曲を 14 曲聴く だけで 162 小節それぞれについて訓練例を得るこ とができ，心理実験の時間を約 10 分に短縮するこ とができた． 3.3.3.2 複数ディスプレイ環境におけるマルチモー ダルインタフェース 複数ディスプレイ環境では，単一のデスクトッ プ環境などに比べ，広い作業領域を確保すること ができるため，シームレスに結合した複数のディ スプレイを活用して，タスクの効率を向上させる ことが期待される．一方で，離れた位置にあるウィ ンドウ等を操作するにはマウスの移動距離が大き くなり，利用者にかかる負荷も大きくなる．また， ディスプレイ間に間隙がある場合やディスプレイ 領域の全てを一度に見渡すことができない場合に 3.3.3 は，カーソルを見失いやすいといった問題がある． 情報空間の構築と複数の人間の相互作用に そこで，このような問題の解決策として，環境中 関する研究 のディスプレイや利用者の頭部の 3 次元位置と向 3.3.3.1 概要 き，そして視線情報や指差しなどを積極的に利用 したマルチモーダルインタフェースが有効である 最近のオフィスや会議室には，プロジェクタス と考えられる． クリーンや液晶などの壁型ディスプレイ，デスク 本年は，複数ディスプレイをシームレスに結合 トップモニタやノート PC，テーブル型ディスプレ して利用する環境を構築するためのミドルウエア イなど，種々のディスプレイが設置され，これら を提案し [10][11]，その上にマルチモーダルインタ を複数同時に利用することも当たり前になってき フェースを試作した [12]．また，SIGGRAPH Asia ている．そのため，利用者が広いディスプレイ領 でデモンストレーション発表を行った（図 3.3.8） 域を活用し，時には複数のディスプレイを同時に [13]． シームレスに結合して，複数の人との協調作業を 効率的に行うことができる環境を構築することが 3.3.3.3 人とディスプレイの位置関係を考慮した パースペクティブ表示 期待されている．また，このように構築された情 報空間で複数の人が作業や議論をする際に，場の 状況を察知して場合によっては適切に活性化する 3.3.3.2 節のような複数ディスプレイの環境にい る利用者は，複数のディスプレイの全てを必ずし も正対した位置から見ることができず，場所と方 ことも求められる．そこで本年度は，以下の項目 について検討を行った． • 作業領域拡大に伴い増大する利用者負荷を軽 向によっては表示された情報が歪んで見え，空間 減するための，マルチモーダルインタフェース 的な誤認識を引き起こす可能性がある．そのため カーソル操作も困難になる場合がある．さらに，作 • 環境中の各利用者に空間的な誤認識を起こさ せず最適な形で情報を提示するための，人と 業領域が広くなるためカーソルを見失いやすいこ とや，マウスの移動量が増えるため作業負荷が大 ディスプレイの位置関係を考慮した情報のパー きくなることも問題となる．特に，複数人で作業 スを自動的に変換する表示手法 する場合には，これらの問題はより深刻になる．そ こで，空間的な認識の問題の解決のため，利用者 • 複数の人が行う会話をターゲットとした自然 に 3 次元的に正対させたウィンドウとカーソル移 言語処理 動を実現するパースペクティブインタフェースを • 複数の人間の相互作用によるダイナミクスの， 提案した．利用者とディスプレイの位置関係を考 対人社会心理の観点からの分析 7 図 3.3.9: 回転偏光板を用いた可視性制御法を応用 したテーブルトップ型ディスプレイのデモの様子 ン上に投影された情報の観察輝度を視点位置など に応じて変化させ，各人に対する可視性を制御す る手法を提案した [15]．そして，その制御手法を応 用し，複数のユーザに対して異なる可視性で情報 を提供するテーブルトップ型ディスプレイを試作 した [16][17]．試作したディスプレイは，テーブル 内部に設置されたプロジェクタからテーブル面へ 図 3.3.8: 複数のディスプレイをシームレスに利用 投影される情報を，テーブルの周囲に立つ複数の するためのマルチモーダルインタフェースのデモ ユーザに対して，立ち位置などに応じて異なる輝 の様子 度で同時に観察させることができる．さらに，ある ユーザから観察される情報の輝度は，プロジェク タ前方に設置した偏光板を回転させることで，任 慮したパースペクティブ表示と従来のフラットな 意に制御することができる．また，実装したディス 表示手法との比較実験を行い，5 種類の基礎的な プレイを用いた情報提示法の例として，特定ユー タスクにおいて，パースペクティブ表示で 8%から ザに対する情報の開示と隠蔽の制御，および情報 60%程度の高い視認性が確認された [14]． の分類の制御の応用を実装した．そして，提案シ ステムの有効性や今後の展望について考察するた め，応用アプリケーションを試作し，デモ展示を 3.3.3.4 共有ディスプレイ上での個人用情報表示 のための情報可視性制御 行った．図 3.3.9 はその様子を示す． 一般のディスプレイ装置に表示された情報は，そ 3.3.3.5 情報環境での複数の人間の相互作用 れを見る全ての人から同様に観察されるため，一 部の情報を特定の人のみに強調して表示したり，あ 様々な場での協調作業を詳しく観察すると，目 る人に提示している情報を他の人に隠したりといっ 的達成のためには協調するばかりではなく，時に た要求に対応することは難しい．共有ディスプレ は互いに意見を対立させ合うような状況や，自分 イにおいて，情報の部分ごとに輝度や彩度，シャー の利益だけを追求する状況などもあり得る．この プネスなどの連続的な値を用いて可視性を制御で ような「協調」と「競争」の 2 つの側面を持った協 きれば，人ごとに異なる重要な部分だけを強調す 調作業では，参加者は作業全体を注意深く観察し， るといった表示法も実現でき，柔軟なアンビエン 適切なタイミングで適切な相手と交渉を行う必要 トインタフェースを構築するための要素技術にな がある．そこで，競争的な要素を持ったタスクに ると考えられる． おける人の行動を分析することにより，競争の側 そこで，回転する直線偏光板を用いて，スクリー 8 面を持つ協調作業を支援することができるテーブ ル型ディスプレイの設計について検討し，実テー ブル上での作業における競争的な行動とテーブル 型ディスプレイ上での行動と比較・検討すること から，いくつかの設計指針を示した [18]． 今後は，周辺環境と人間の動的なインタラクショ ンの機微を捉え，不確定要素の多い人間に個別対 応した情報提示空間の実現を目指すために，参加 者の発話特徴や複数センサからの環境情報などか ら空間の「場」を認識・モデル化し，それに応じた 適切な情報提示をすることによって， 「場」を活性 化する技術について検討してゆく予定である． 「場」 図 3.3.10: パラサイトヒューマンの構成概念図 のモデル化については，各参加者間のインタラク ションによって生じる身体運動や人物位置の変化 だけでなく，発声された音声の特徴 (発話頻度や抑 ト情報環境におけるアンビエントインタフェース 揚などのパラ言語的情報）や会話内容のダイナミ では，このように生物に学ぶ人−機械系を構築し， クスに着目した「場」の活性度を定義する．対人 人に寄り添い人と協調して行動することが求めら 的な相互作用事態（場）におけるコミュニケーショ れる．そこで，本研究では，生物に学んだ協調型 ン行動の指標として有効な非言語的な指標は，対 行動支援インタフェースとして以下の項目につい 人社会心理学的な観点から，うなずきや手の動き て検討した． などの身体動作についての空間的な座標指標，他 者に対する視線配布，および，非言語的なコミュ • 錯覚を利用して違和感の少ない自然な行動誘 導を行う装着型インタフェース ニケーション行動のパターンについて検討を重ね ている [19][20][21][22] が，これらを踏まえて「場」 • サッカードを検出し 1 列の光点列を点滅させ ることで，観察者ごとに異なる 2 次元イメー ジを知覚させるディスプレイ の活性度を同定する．また，会話内容のダイナミク スに関しては，予測型シンハラ語入力インタフェー ス研究の経験 [23] を踏まえ，リアルタイムには難 しい発話内容のダイナミックな変化の推定に，生 る予定である． • 運動中の身体部位映像などに速度変化を加え た際に生じる擬似触覚/擬似力覚の生起および 運動生成のメカニズム解析 3.3.4 • 人に対する自然なコミュニケーションを成立 させる相互作用の在り方の解明 物に学ぶ道の環境変化に対応する仕組みを応用す 生物に学ぶ人間−機械系の構築: 協調型行 動支援インタフェース 以下では，これらについて順に述べる． 3.3.4.1 概要 アンビエントインタフェースの目指す「人に対 3.3.4.2 パラサイトヒューマンとアンビエントイ ンタフェース する当意即妙の支援」を実現するためには，人間 自身の意図や行動の様式を知り，インタフェース がその様式に合った支援活動を行うことが求めら アンビエントインタフェースの「今だから，ここ れる．例えば，人の行動をある種のアトラクター だから，あなただから」の意味するところは人に対 モデルとして記述し，インタフェースがこのアト する当意即妙の支援を可能にするインタフェース ラクターに干渉して任意の摂動を生じさせること への要請であると考えられる．このような要請に応 ができれば，強制された違和感の少ない，自然な えるためには人間自身の意図や行動の様式を知り， 行動の誘導を実現できることになる．アンビエン その様式に融合した支援活動がインタフェースに 9 3.3.4.3 サッカードディスプレイ も求められる．生物に学ぶアトラクター重畳のコ ンセプトはこうした人の行動を支援する感覚−行 アンビエント環境実現のためには， 「いつでもど 動インタフェースにおいても有効に機能する．人 こでもあなただけに」という要求に応える方法論 の行動自体をある種のアトラクターとして記述す の提示は必要不可欠ある．PH のウェアラブルイン ることが出来ることはいくつもの先行研究が示し タフェースというアプローチもその答えの一つで ていることであるが，この特性をより積極的に活 あるが，ここでは，それを実現するためのもう一 用することによって，より自然な形で人間の行動 つの方法を提案する． 自体を誘導することが可能になる．このようなア 我々はその要素技術として，サッカードディス トラクターモデルの適用が可能になるのはヒトの プレイ (SD) の開発を行ってきた．SD では，1 列 感覚−運動系が外界に対して開きながら系として の光点列を固定し，サッカードと呼ばれる高速眼 アトラクター特性を持つ閉ループを構成している 球運動中に光点列の点滅パターンを高速で時間変 からである．このアトラクターに干渉して任意の 化させると，光源の点滅パターンが眼球運動によ 摂動を生じさせることが出来れば行動の誘導を実 り網膜上で空間パターンに展開され，2 次元イメー 現することが出来ることになる．このための端的 ジが知覚される．この現象を利用した SD は，少 な手段としては外力によって行動の変更を強制す ない空間，少ないエネルギーによって効率的に情 る方法がある． 報提示が実現可能である． しかしこの方法では対象者自身の意図する状態 これを踏まえ，ここで新しく提案する手法は，観 と新しい状態の間にコンフリクトが生じ，行動を 察者がウェアラブル・サッカード検出装置を装着 強制された違和感が知覚されることになる．これ し，観察者のサッカードを検出すると同時に SD 用 に対して，錯覚を利用した干渉方法であれば初期 の光源を点滅させるものである．特徴として，1 つ 状態から知覚が推移したことによって新しい知覚 の SD 用光源で複数の観察者に選択的に情報提示を にあわせて対象者自身が自発的に行動を変更する 行うことが可能であるということが挙げられ，ま ためにこのようなコンフリクトが生じず，自然な さにアンビエント的使用に適している．例えば，1 行動の誘導が実現する．このように，摂動剛性の つの SD を 2 人の観察者が見ているとして，時刻 t1 においては観察者 A のサッカードを検出し，そ のタイミングで 2 次元像を SD に表示する．この とき，観察者 A には 2 次元像が知覚されるが，観 察者 B には 1 次元の像しか知覚されない．一方， 時刻 t2 では観察者 B のサッカードを検出し 2 次元 像を提示する．このときには観察者 B だけが 2 次 元像を知覚可能である．つまり，サッカード検出 に合わせて情報提示を行うことで，1 台の SD で複 数の観察者に時分割で情報提示を行うことが可能 である．また，サッカード検出装置はそれぞれの 高い運動側への強制力による干渉ではなく，錯覚 を利用した摂動剛性の低い感覚側への干渉はアト ラクター摂動原理の実際的な応用にもなっている． パラサイトヒューマン（以下 PH）はこのような 錯覚を利用した感覚提示技術によって装着者の行 動を支援することを可能にする一種のウェアラブ ルロボットインタフェースである（図 3.3.10）．PH は人間に装着されて共に行動することで人間行動 の一次近似としてのアトラクターモデルを学習的 に獲得する．PH と装着者が人馬一体ならぬ人ロ ボ一体で行動している際に，PH が獲得したアト 観察者に装着されているので， 「誰が」 「いつ」サッ ラクターモデルに対して必要な干渉を行うことに カードを起こしたのか検出可能であり，それぞれ よって装着者の行動を自然に誘導することが出来 の観察者に合わせて，異なる情報を提示可能とな る．この際には PH のアトラクターと装着者のア る．このように，1 台の SD と複数のウェアラブ トラクターが引き込みによって新たな安定解とし ル・サッカード検出装置を組み合わせることによっ ての行動様式を生じさせることになる．これによっ て，複数の観測者に，1 台の SD で各々異なった情 て人と PH，さらには PH 同士の通信を介した人と 報を提示することが可能となる．また，1 次元の 人のアトラクターを重畳させた新たな行動様式の 光点列によって構成される SD は，安価で設置面 解をアトラクター重畳によって動的に生成させる 積も小さいことから偏在させること（ユビキタス ことが可能になると期待される． 的利用）も容易である． 10 この対象者選択的サッカードディスプレイの開 3. 自分と同じ運動をするカーソルを画面上に表 発を行い，今後は，選択的に提示したときの知覚 示し，そのカーソルが目標となるターゲットを 精度と選択されいない他者がどの程度知覚可能で 追従しているときにターゲットと自分のカーソ あるかの知覚精度の評価を行い，技術の改良とア ルの速度変調割合を変更したときの Pseudo- ンビエント使用における有用性の議論を行う． haptics 生起と行動変容． 以上の実験から，実験 1 において上肢到達運動 3.3.4.4 Pseudo-Haptics を用いた行動誘導 においては，減速刺激提示時には行き過ぎるとい ウェアラブルな装置を用いて感覚刺激を提示・伝 うオーバシュートが発生し，加速刺激提示時には 達する手法は，ユーザに迫る危険状態の未然回避， アンダーシュートするという知見が得られ，速度の あるいは，専門家の特殊な技術能力の伝達など，そ 変調を行った加減速刺激とは逆極性に運動は誘導 れが果たす役割は非常に大きい．しかし，通常，イ されることがわかった．また，面白いことに行動誘 ンタフェース装置として触覚を提示するためには， 導と疑似力覚の生起には関係が薄いことがわかっ 大きくて重い装置を装着する必要があり，これは， た．さらに自己だと思っている中心から視野角と関 ユーザが動きまわるモバイル用途では決定的な問 係して Pseudo-Haptics が生起し，Pseudo-haptics 題となる． が生じたときに動かされたという感覚が生じる部 位がある程度わけれるとこがわかった． この問題を克服する解決策として，本研究では， 感覚提示技術として Pseudo-Haptic という錯覚現 これらの結果より，ユーザに変調した視覚刺激 象に利用する．Pseudo-Haptic とは，使用者の運動 を与えることによって，疑似力覚発生の部位のコ ントロール，その変調により期待される行動誘導 中の身体部位映像，あるいは身体運動を投影する対 象物（例：マウスカーソル）の視覚映像に速度変化 の方向，速度変調させるための対象のコントロー を加えることで，擬似触覚/擬似力覚を錯覚する現 ルが可能であることが示唆され，今後，個々の具 象である．つまり，触覚としての感覚を視覚刺激情 体的な行動誘導，2 者間の協調行動における行動誘 報のみをコントロールすることによって，生成す 導に発展させていく． る．しかし，先行研究や応用研究では，Pseudo- Haptic を用いた触覚の再現に重点が置かれてお り，Pseudo-Haptic の生起メカニズムや，PseudoHaptic 生起による運動生成に関しては言及されて いない．ここでは，Pseudo-Haptic という現象を 行動誘導や感覚伝送の手段として利用することを 目的とし，Pseudo-Haptic の生起/運動生成のメカ ニズムを解析することを目的とした． 実験では，以下の 3 つの実験を行うことによっ て Pseudo-haptic の生起，それに関する行動誘導 3.3.4.5 振舞をもとにしたチューリングテスト について調べた． であるかを考える必要がある．それは人が自然に 我々のインタフェースの技術は，それ単体で行 動の誘導や感覚の提示をすることが可能であるが， いつでもどこでも使えるようなデバイスであった 場合，そのデバイスが人とどのようにどのタイミ ングで相互作用するのかという問題が生じる．そ もそも機械と人の相互作用において，いかにして 人と人が行うような自然な相互作用の形成が可能 他人とどのようにコミュニケーションを成立させ 1. 自分と同じ運動をするカーソルを画面上に表 ているのかという疑問にもつながる．ここでは，そ 示し，そのカーソルが加速，減速の速度変調を のリンクを考える． 受けた場合の Pseudo-haptics 生起と行動変容． 人らしさに着目した研究では，古くはチューリ 2. 自己の手先映像に加え，自己と動機運動を行 ングによるチューリングテストがある．本研究課 いながら自己に対して時間的，空間的に先行す 題においては，チューリングテストのように会話 る，又は遅延する，手先映像を提示し，それら をベースにしたものではなくて，極限までに制限 自分ではないが自分と相関の運動があるもの された入力と出力の環境でいかに人らしさが形成 が速度変調を起こした場合の Pseudo-haptics されるかを行動のレベルで考える． 実験では，２人の被験者は指を左右に動かすこ の生起． 11 とによって，コンピュータ上に生成された仮想空 今後，これらの研究を進展させ，他の研究領域 間のそれぞれのアバターを左右に動かす．そのア とも連携しながら，アンビエント情報環境で，環 バターがなにかに接触すると被験者はオンオフの 境側が場の状況を察知することによって，そこに 刺激を受ける．このとき，その空間においては，ア いる人に適切な情報を適切に与えるというコンテ バターが人に動かされているときもあれば，プロ キストアウェアな情報提示を実現させていく予定 グラムによって生成された運動や，前回の録画運 である． 動が再生されるときもある．相手が人であるとき （文責：竹村 治雄， とそうでないときに，被験者がいかにしてそれを アンビエントインタフェース領域リーダー， 判断可能かというのがここでの狙いであり，人に 大阪大学サイバーメディアセンター， 対して自然なコミュニケーションを成立させる相 〒 560-0043 豊中市待兼山町 1–32， 互作用の在り方を明らかにする． [email protected]） 結果として，2 人の被験者達はそれぞれ，人かど うかは判断しているだけにも関わらず，人の言語 コミュニケーションに見られる時間的役割の転換 参考文献 であるターンテイキングが見られた．そこでは一 [1] Ryuji Shimada, Yasuhiro Hayase, Makoto Ichii, Makoto Matsushita, Katsuro Inoue: “ASCORE: Automatic Software Component Recommendation Using Coding Context,” Companion Volume of the 31st International Conference on Software Engineering, Tool Demonstration. (2009 年 5 月予定). 人が静止し，その間にもう一人が存在を確認する ように振動しながら触るように運動する．この役 割は自然と交替し，ターンテイキングが続いてい く．相手が録画運動であるときには，この役割の 転換がスムーズにいかず相互作用が壊れて，人で はないという判断になる． [2] Arase, Y., Hara, T., and Nishio, S.: “User Profiling for Web Search Based on Biological Fluctuation,” Proc. of the 13th International Conference on Human-Computer Interaction (HCI International 2009) (2009 年 7 月予定). ターンテイキングを目的にしないにも関わらず， 録画運動のときに成立しないで人同士のときのみ 創発するターンテイキングは，被験者間において ある種の伝達が成立していると考えられる．この [3] 荒瀬由紀, 原 隆浩, 上向俊晃, 西尾章治郎: “携帯電 話上でのドライブメタファーを用いた Web ページ 提示,” 日本データベース学会論文誌, Vol. 7, No. 1, pp. 103–108 (2008 年 6 月). 相互作用の共有は，四方らの行っている大腸菌によ る人工共生系で見られているアトラクター重畳現 象と通ずるものがある．我々は現在，人の運動をア [4] Arase, Y., Hara, T., Uemukai, T., and Nishio, S.: “MotoBrowser: Enjoyable Browsing using Cellular Phones by “motoring” Web Pages,” Proc. of Int’l Conf. on Mobile Data Management (MDM 2009) (2009 年 5 月予定). トラクター記述を用いてモデル化を行い，その運 動の切り替わりがアトラクター重畳として記述が 可能であるか調べている．この人の協調行動がア トラクター重畳として記述が可能であると，その [5] 高田 大輔, 小川 剛史, 清川 清, 竹村 治雄: “ネッ トワーク型拡張現実感システムのための階層的注 釈情報データベースと動的優先度制御手法,” 日本 バーチャルリアリティ学会論文誌, Vol.13, No.2, pp.279-287 (2008 年 6 月). 重畳現象を逆に利用し，インタフェースとして，人 と重畳を行いながら人らしい自然な行動誘導を実 現し，新たなインタフェース技術の確立を試みる． 3.3.5 [6] Daisuke Takada, Takefumi Ogawa, Kiyoshi Kiyokawa, Haruo Takemura: “A Hierarchical Annotation Database and a Dynamic Priority Control Technique of Annotation Information for a Networked Wearable Augmented Reality System,” 18th International Conference on Artificial Reality and Telexistence (ICAT ’08), pp.226-233 (2008 年 12 月). おわりに アンビエント情報環境におけるインタフェース を実現する要素技術を確立するため，今年度は，セ ンシングに基づく適応的な情報提示に関する研究， 情報空間の構築と複数の人間の相互作用に関する [7] Daisuke Takada, Takefumi Ogawa, Kiyoshi Kiyokawa, Haruo Takemura, “A Context-Aware AR Navigation System using Wearable Sensors,” Proc. of the 13th International Conference 研究，生物に学んだ協調型行動支援インタフェー スに関する研究に関して検討した． 12 on Human-Computer Interaction (HCI International 2009) (2009 年 7 月予定). [19] 大坊郁夫（編）: “社会的スキル向上を目指す対人 コミュニケーション,” ナカニシヤ出版（2005 年 3 月） [8] 高田 大輔, 小川 剛史, 清川 清, 竹村 治雄: “加速度 センサを利用したコンテキストアウェアな拡張現実 感ナビゲーションシステム,” 第 53 回システム制御 情報学会研究発表講演会（SCI ’09）(2009 年 5 月 発表予定). [20] 横山ひとみ, 大坊郁夫: “説得場面における社会的ス キルの役割 ―音声提示刺激による実験的研究―,” ヒューマンインタフェース学会研究報告集, Vol. 10. No. 1, pp. 1–6（2008 年 5 月） [9] Singh Kumud Brahm, Kiyoshi Kiyokawa, Haruo Takemura: “A Study on Designing Adaptive User Interface for Different Screen Sizes,” IEICE Technical Report, Vol. 108, No. 379, MVE2008109, pp. 69-74 (2009 年 1 月). [21] 藤原健, 大坊郁夫: “笑いによる気分誘導がコミュ ニケーション行動に及ぼす影響,” 電子情報通信学 会技術研究報告, 108(187), pp. 47–52（2008 年 8 月) [22] 横山ひとみ, 大坊郁夫: “説得場面における社会的ス キルの役割 (2) 音声・映像提示刺激による実験的 研究,” 電子情報通信学会技術研究報告, 108(187), pp. 53–56（2008 年 8 月） [10] 櫻井智史, 北村喜文, 伊藤雄一, Miguel A. Nacenta, Sriram Subramanian, 岸野文郎: “複数のディスプ レイをシームレスに利用する環境の構築,” 日本バー チャルリアリティ学会論文誌, Vol. 13, No. 4, pp. 451–460 (2008 年 12 月). [23] Sandeva, G., Hayashi, Y., Itoh, Y., and Kishino, F.: “SriShell Primo: A Predictive Sinhala Text Input System,” Proc. of the IJCNLP-08 Workshop on NLP for Less Privileged Languages, pp. 43–50 (2008 年 1 月). [11] Sakurai, S., Itoh, Y., Kitamura, Y., Nacenta, M., Yamaguchi, T., Subramanian, S., and Kishino, F.: “A Middleware for Seamless use of Multiple Displays,” Proc. of International Workshop on Design, Specification, and Verification of Interactive Systems (DSV-IS 2008), LNCS 5136, pp. 252–266 (2008 年 7 月). [12] 深澤遼, 山口徳郎, 櫻井智史, 北村喜文, 岸野文郎: “ 複数ディスプレイ環境におけるマルチモーダルイン タフェース M2 ,” ヒューマンインタフェースシンポ ジウム 2008 論文集, pp. 531–534 (2008 年 9 月). 【優秀プレゼンテーション賞受賞】 [13] Sakurai, S., Yamaguchi, T., Kitamura, Y., Subramanian, S., Nacenta, M., Itoh, Y. Fkazawa, R., and Kishino, F.: “M3 : Multi-modal Interface in Multi-display Environment for Multi-users,” ACM SIGGRAPH Asia Emerging Technologies (2008 年 12 月). [14] 山口徳郎, Miguel A. Nacenta, 櫻井智史, 伊藤雄一, 北村喜文, Sriram Subramanian, Carl Gutwin, 岸 野文郎: “利用者とディスプレイの位置関係を考慮 したパースペクティブ表示,” 電子情報通信学会論 文誌, Vol. J91-D, No. 12, pp. 2746–2754 (2008 年 12 月)． [15] 櫻井智史, 北村喜文, Sriram Subramanian, 岸野文 郎: “回転偏光フィルタにより情報の可視性を制御 するテーブルトップ型ディスプレイ,” 情報処理学 会論文誌, Vol. 50, No. 1, pp. 332–343 (2009 年 1 月). [16] 櫻井智史, 北村喜文, Sriram Subramanian, 岸野文 郎: “回転する直線偏光板を用いた情報可視性の 制御手法,” ヒューマンインタフェース学会論文誌, Vol. 11, No. 1 (2009 年 2 月). [17] Sakurai, S., Kitamura, Y., Subramanian, S., and Kishino, F.: “Visibility Control using Revolving Polarizer,” Proc. of IEEE Tabletops and Interactive Surfaces, pp. 173–180 (2008 年 10 月). [18] 山口徳郎，Sriram Subramanian, 北村喜文，大坊 郁夫，岸野文郎: “テーブル上における競争の側面 を持つ協調作業,” ヒューマンインタフェース学会 論文誌（査読中）. 13