Comments
Description
Transcript
着ぐるみをベースとした インタラクティブコミュニケーション
着ぐるみをベースとした インタラクティブコミュニケーションシステム - 論文内容の要旨 - 岡 芳樹 新潟大学大学院自然科学研究科博士後期課程 電気情報工学専攻 要旨 本論文は，着ぐるみをベースにしたインタラクティブなコミュニケーションシス テムを提案する．着ぐるみの多くは容姿を固定されており，自らの抱く感情や観客 とのコミュニケーションを身振り・手振りの身体的動作で行わなければならない． そして，その身体的動作を習得するには多くの労力と時間や金銭の負担が掛かる． そこで，本研究は着ぐるみに表情を与えて，着ぐるみが動作以外でも感情や状態を 伝達できるようにする．表情に着目した理由は， 「目は口ほどに物を言う」と言う ことわざがあるように，表情は物事の判断要素や情報が欠落した時の情報の補填 に使用される役割があるとされているからである． 着ぐるみに表情を与えるが，着ぐるみの表情生成の要素には，着ぐるみを着てい る演者の表情を使用する．演者の表情は，観客側から完全に見えない部分であり， 自由に扱える．さらに，日常生活で使用される物なので，訓練の必要がない．着ぐ るみへ表情の表出に使用する機器を搭載し，それらの機器を動作，表情を生成す るシステムを開発し組み込む．使用する機器は市販品を使い，構成を簡素にして， 利便性やメンテナンス性を向上させる．組み込むシステムには，使用者が出力結果 を視認しやすいように入力データに結果をオーバーライドできる特徴点抽出や閾 値を使用しての演者の表情の分類から表示する着ぐるみの表情を決定する方法を 使用している．さらに，入力デバイスを付加して，着ぐるみの表情だけでなくキャ ラクタ自体を切り替えられるシステムも追加する． 最後に，製作した着ぐるみシステムを稼動し，表情の表出が可能か確認する．結 果，表情の表出，キャラクタ自体の切り替えや観客とのコミュニケーションが行え たのを確認した．さらに，表情を持つようになった着ぐるみは好感が持たれるか印 象の評価を受け，表情を持つ着ぐるみの方に好感が持てると評価された． 本論文で示した着ぐるみシステムを使用する事で，インタラクティブなコミュニ ケーションが行えるようになる． 第 1 章では，本研究の背景や目的，関連研究，論文の構成について述べる． 第 2 章では，製作した着ぐるみシステムの構成について述べる．着ぐるみシステム の製作方法だけではなく，使用する電子機器への絶縁加工，システムを動作に影響 を与える恐れのある照明問題の解決などを行い，それらの必要性や効果について も述べる． 第 3 章では，着ぐるみの表情表示システムについて述べる．着ぐるみを着用してい る演者の表情を認識し，対応するキャラクタの表情画像を表示するシステムの流れ について述べる．さらに，閾値作成用のサンプルデータの取得方法，認識した演者 の表情とシステムで表示するキャラクタの表情画像との対応付け方法，使用してい るソフトウェアについて述べる． 第 4 章では，着ぐるみシステムの稼動実験を行い，結果及び評価を示し考察を行 う．考察から中間表情画像の作成を行い，表示するキャラクタの表情画像の変化の スムージング化について述べる． 第 5 章で本論文をまとめる． 2 着ぐるみをベースとした インタラクティブコミュニケーションシステム 岡 芳樹 新潟大学大学院自然科学研究科博士後期課程 電気情報工学専攻 目次 第 1 章 はじめに 4 1.1 研究の背景・目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 関連研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3 論文の構成 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第 2 章 着ぐるみシステム 8 2.1 着ぐるみシステムの概要 . . . . . . . . . . . . . . . . . . . . . . . . 2.2 着ぐるみ頭部の製作 . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.3 着ぐるみ頭部の外・内装 . . . . . . . . . . . . . . . . . . . . . . . . 13 第 3 章 着ぐるみの表情表示システム 8 17 3.1 顔特徴点抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.2 表情の分類 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.3 キャラクタ切り替え機能 . . . . . . . . . . . . . . . . . . . . . . . . 28 第 4 章 実験・評価 29 4.1 稼動実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.2 印象評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.3 コミュニケーション実験 . . . . . . . . . . . . . . . . . . . . . . . . 34 4.4 キャラクタ切り替え実験 . . . . . . . . . . . . . . . . . . . . . . . . 34 4.5 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 第 5 章 むすび 38 1 図目次 2.1 着ぐるみ頭部の着用 . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.2 表示用ディスプレイ . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.3 内部 Web カメラ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.4 着ぐるみ頭部の構成図 . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.5 製作した着ぐるみ頭部の外観 . . . . . . . . . . . . . . . . . . . . . 15 2.6 製作した着ぐるみ頭部の内部 . . . . . . . . . . . . . . . . . . . . . 16 3.1 faceAPI で検出した特徴点 . . . . . . . . . . . . . . . . . . . . . . . 19 3.2 今回使用した特徴点と ID . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3 演者の表情と対応するキャラクタの表情画像の例 (上から喜び，怒 り，悲しみ，驚き，無表情) . . . . . . . . . . . . . . . . . . . . . . 25 3.4 着ぐるみの表情表示システム 27 3.5 キャラクタ画像 (左上：かかし，右上：ドロシー，左下：ブリキの木 . . . . . . . . . . . . . . . . . . . . . こり，右下：臆病なライオン) . . . . . . . . . . . . . . . . . . . . . 28 4.1 稼動実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.2 キャラクタの表情画像一覧 . . . . . . . . . . . . . . . . . . . . . . . 31 4.3 表示されたキャラクタの表情画像の遷移図 . . . . . . . . . . . . . . 32 4.4 印象評価ビデオでの 1 コマ（表情有り） . . . . . . . . . . . . . . . 33 4.5 観客とのじゃんけん勝負 . . . . . . . . . . . . . . . . . . . . . . . . 36 4.6 キャラクタ切り替え実験 . . . . . . . . . . . . . . . . . . . . . . . . 36 4.7 中間表情画像作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.8 アニメ・マンガキャラクタの表情変化（眉のみ） . . . . . . . . . . 37 2 表目次 3.1 特徴点 ID と顔の対応 . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.1 試行結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3 第 1 章 はじめに 1.1 研究の背景・目的 着ぐるみは，アニメやマンガのキャラクタやコンセプトを現実世界で表現する 為に制作され，テーマパークやイベントショーで度々使用される．しかしながら， 着ぐるみの多くは容姿を固定されており，自らの抱く感情や観客とのコミュニケー ションを身振り・手振りの身体的動作で行わなければならない．その為，着ぐるみ の「中の人」と呼ばれる着ぐるみを被っている演者は，その身体的動作を習得する 為に多大な労力を必要とされる．さらに，着ぐるみの容姿の固定は，着ぐるみの配 役にも影響を与える．容姿が固定されていると，登場人物で同一の容姿を持つキャ ラクタが配役されない限り，着ぐるみの使いまわしができない．その為，演劇やイ ベントで複数のキャラクタが必要になると必要な役数分の着ぐるみを用意しなけ ればならない．増えたキャラクタ分の演者の確保，必要な着ぐるみの用意とさらに 労力が掛かってしまう． これらの問題を解決する為に，本研究では表情を持つ着ぐるみシステムを開発す る．着ぐるみを着ている演者の表情を着ぐるみの顔の表情へ変換するシステムを提 案する．このシステムは，着ぐるみの顔自体を切り替え，1 体の着ぐるみで複数の 種類の表情豊かな着ぐるみが演じられる．表情に着目した理由は，人間が会話の内 容や相手の状態を理解する時には音声情報だけでなく，表情などの視覚情報も読み 取り理解を深めている [1]．よって，自らの感情を動作でしか表現できない着ぐる みのコミュニケーション能力を高めるのであれば，表情の付加が良いと判断した． 1.2 関連研究 本研究は，VR 分野でも衣服や装飾品に VR 技術を取り入る Wearable computing 分野に着目する．めがね型 [2] やマスク型 [3]，衣服型 [4] と様々な物に VR 技術が 取り入れられ，近年研究が急速に行われるようになった．しかし，複数パーツを組 4 み合わせた全身の Wearable Computer 化を行う研究は少なく，使用者や周辺への 影響や効果について考察されていない．そこで，頭部と胴体部を持つ着ぐるみの両 部分に VR 技術を取り入れ，全身を研究対象とした Wearable Computing として研 究を行い，使用者や周辺への影響や効果について検討を行う． 関連研究として，まず石黒ら [5]，梶田ら [6] や高西ら [7] のヒューマノイドロボッ ト研究，または Garner Holt Productions[8] や SALLY CORPORATION[9] のアニ マトロニクス技術がある．表情や言語能力を持つヒューマノイドロボット，映画や テーマパークアトラクションで用いられるアニマトロニクスは，容姿や言語・コ ミュニケーション能力が人間に近い存在になっている．本研究も着ぐるみに表情を 与える行為が，着ぐるみの存在を人間へ近づけていると考えられ，関連している と言える．しかし，ヒューマノイドロボットやアニマトロニクスたちは，離れた位 置からの制御やプログラムによって動作する．そのため，人が媒体となって動作し ている着ぐるみとは異なり，人とのコミュニケーションは遠隔地に居る操作者の判 断やプログラムでの対応となっていまい，ラグの発生や応対に限界が来てしまう． それにより，コミュニケーションが成立しなくなっていまう場合がある． 次に，串山ら [10] は，着ぐるみの容姿を維持したまま，瞬きや口の開閉を行える 着ぐるみを提案している．着ぐるみの中にギミックを搭載し，着ぐるみを着ている 演者の表情をセンサーによる認識からギミックを操作するシステムになっている． しかし，瞬きや口の開閉の顔の動作は行えるが，頬や眉を動かした表情の表出が行 えない．さらに，ベースになっている着ぐるみの容姿は維持されているので，着ぐ るみのキャラクタ自体の変更も不可能である． 次に，金子ら [11] や瀬尾ら [12] の顔特徴点抽出を用いた似顔絵の作成システム がある．人間の顔から特徴点を抽出し，そのデータを使用してデフォルメされた似 顔絵を作成するシステムになっている．演者（人間）の表情から着ぐるみの表情を 生成する本研究と人間の表情から新しい画像を生成する点は類似しているように とれる．しかし，彼らの研究は人間から人間の似顔絵を生成しているので，両方同 一人物の物である．本研究は人間から着ぐるみの表情なので，別人の画像へ変化し ている．さらに，演者の表情は着ぐるみで隠されているので，人間の表情と着ぐる 5 みの表情を似顔絵のようにそっくりな表情へ生成する必要もなく，表情に差異が発 生しても問題がない． そして，Lincoln ら [13] や小島ら [14] のアバターシステム研究がある．仮想世界 上で自分の姿や存在を表現する為に使用されるアバターだが，彼らはアバターを モデルユニットへの投影によって，アバターを現実世界で表現する方法や，テキス トと表情を合わせてアバターに表出させる研究がされている．着ぐるみを演者の 代理となるアバターと考えたら，現実世界での体現や感情の表出などは類似して いる．しかし，本研究はそのアバターが着ぐるみになっているので，現実世界でア バターになりきる事ができる利点がある． 提案する着ぐるみシステムは，着ぐるみを着ている演者のみから操作され，観 客との直接的なコミュニケーションを実現する．操作方法は演者の表情を用いる． 演者の表情は，観客側から完全に見えない部分であり，自由に扱える．さらに，表 情は日常生活で使用される物なので，訓練の必要がない．製作する着ぐるみシステ ムの構成は単純な構成とし，使用する機器は市販品を使用する．これは，演者が熟 練者や初心者の誰であっても，着ぐるみシステムの着用や使用に労力を掛けないよ うにするためであり，機器類が故障しても誰もが簡単に取り替え，修理できるよう にするためである．そして，着ぐるみの表情にはキャラクタ画像を用いる．着ぐる みの表情をロボットやギミックを使用した写実的な表現より，マンガやアニメに使 用されるデフォルメが含まれる表現で着ぐるみの表情を作成する．これは，マンガ やアニメ特有のエフェクトが使用でき，感情の表現方法が広がるからである．さら に，着ぐるみの表情として表示するキャラクタ顔を複数のキャラクタ分用意し，着 ぐるみを着替えなくても複数のキャラクタを演じられるようにする．これにより， 用意しなければならない着ぐるみの数を必要となるキャラクタ分の着ぐるみから， 同時にステージ上で演技する着ぐるみの最大数分までに削減できる．また，キャラ クタ顔の切り替えをステージ上で行えば一人芝居も可能となる． この研究により，現在までの着ぐるみが持つ，着ぐるみを被っている演者は音声 を発してはならないや演者の存在を観客へ悟らせてはならないなどのタブーを取 り払え，今までに無い新しい着ぐるみを生み出せると考えている． 6 1.3 論文の構成 本論文は，まず第 2 章で着ぐるみシステムの構成について述べる．使用機器間で の互換性，使用者の利便性，使用時の安全性を考慮すると，着ぐるみシステムの開 発に使用できる機器や道具に制限が発生する．その制限内で製作された着ぐるみシ ステムの構成を詳細に説明する．第 3 章では，着ぐるみの表情表示システムについ て述べる．着ぐるみを着用している演者の表情を認識し，対応するキャラクタの表 情画像を表示するシステムの処理手順について述べる．さらに，使用手法の構成， 表情認識用のサンプルデータの取得方法，認識した演者の表情とシステムで表示 するキャラクタの表情画像との対応付け方法の説明をする．第 4 章では，着ぐるみ システムの稼動実験を行い，結果及び評価を示し考察を行う．考察から中間表情画 像の作成を行い，表示するキャラクタの表情画像の変化のスムージング化について 述べ，第 5 章で本論文をまとめる． 7 第 2 章 着ぐるみシステム 2.1 着ぐるみシステムの概要 着ぐるみの容姿は，アニメやマンガなどの空想の人物，擬人化による生物や製品 が表現されている．本研究は，表情を持つ着ぐるみの開発を目的としているので， 着ぐるみの容姿の中でも着ぐるみの顔のみを開発対象にする．しかし，着ぐるみ として表現するには，頭部だけでなく外見や衣装を含めた開発が今後必要である． 着ぐるみに表情を与える方法として，着ぐるみの顔部分をディスプレイに置き換 え，キャラクタの表情画像を着ぐるみの表情としてディスプレイ上に表示する方法 をとる．キャラクタの表情画像の表示，機器間の互換性や使用者の利便性，故障時 のメンテナンス性を考慮すると，適していると考えられる．さらに，着ぐるみの表 情を豊かにするためには，表示するキャラクタの表情画像を増やし，多様な表情の キャラクタ画像に切り替える必要がある．そこで，キャラクタの表情画像の切り替 えは，着ぐるみを着ている演者の顔表情を利用する．着ぐるみを着ている演者が自 らの顔パーツを動かし，作られた様々な表情を認識し，分類して対応するキャラク タの表情画像へ切り替えるシステムを開発する． 着ぐるみの多くは，アニメやマンガなどの空想の人物，擬人化による生物や製 品になりきるために，着ぐるみを着ている演者の容姿は観客側からは確認できな いように隠されている．特に，演者の顔部分は着ぐるみの頭部に覆われているだ けで，身体のように着ぐるみ衣装に覆われて，かつ動作を行うのではないので，他 の身体部位より制約が少ない．さらに，表情は日常生活でも使用されているので， 特別な訓練の必要なく使用できる．そして，演者の表情を使用するので，観客との コミュニケーションを行う時に，演者自身の表情によって着ぐるみの表情が操作可 能になり，円滑なコミュニケーションを運べるようになる． そして，この演者の表情は Web カメラを着ぐるみ頭部に搭載して撮影を行う方 法をとる．Web カメラを使用すると焦点距離の関係で着ぐるみの頭部が肥大して 8 しまうが，自分の表情を画像として即座に確認できるので，使用者の立場から考慮 すると向いていると言える． 以上の観点から，本研究は着ぐるみの表情となるキャラクタの表情画像を表示・ 切り替えるシステムを実現させるために必要な機器が搭載された着ぐるみ頭部を 製作した [15]．製作した着ぐるみ頭部を着用した様子を図 2.1 に示す．図 2.1 上方 は製作した着ぐるみ頭部でキャラクタの表情画像が着ぐるみの表情として表示さ れている．図 2.1 内の着ぐるみが持っているディスプレイには，その着ぐるみ頭部 を被っている演者の表情が表示されている．製作した着ぐるみ頭部の構成や詳細は 以下で述べる． 図 2.1: 着ぐるみ頭部の着用 9 2.2 着ぐるみ頭部の製作 プラスチック製の箱（290*360*500mm）を頭部の土台とする．360*500 のどちら かの面の端よりに 250*250 の正方形の穴をあける．ここを演者が着ぐるみを被る 時に使用する通し穴とする．そして，290*360 の面で通し穴から遠い方の面全域を あけ，ここを箱前面とし機器類を搭載していく．次に，着ぐるみの表情となるキャ ラクタの表情画像を表示する表示用ディスプレイ（15.6 インチサイズ）を箱前面に 載せる．表示用ディスプレイは，外枠や台座を全て外したディスプレイモジュール と基盤部分のみを使用する．ディスプレイモジュールと基盤をこのまま使用するの は感電の危険性があるので，絶縁テープを使用して絶縁加工を施す．箱前面に取り 付ける際は，プラスチックレールと木材を使用して固定する．プラスチックレール は，ディスプレイモジュールの外周にはめ込む．これは，ディスプレイモジュール と木材が接触する部分で木材のバリでディスプレイモジュールが故障しないように するためである．木材は，強度と加工性のバランスが製作している着ぐるみにマッ チしているので使用している．木材に溝を掘り，そこにディスプレイモジュールを はめ込み，箱とディスプレイを合体されるための土台にする．箱との固定には，底 面が円錐系のネジを使用する．製作した表示用ディスプレイと箱前面へ搭載した様 子を図 2.2 に示す． 箱内部には，確認用ディスプレイ（10.1 インチサイズ），演者の表情を撮影す る内部 Web カメラ（SONY PlayStationEye）および演者の顔を照らす LED 照明 （USB 給電式）を載せる．なお，確認用ディスプレイも表示用ディスプレイと同様 の分解・絶縁加工を施しており，木材を使用して固定している．内部 Web カメラ は，魚眼レンズが取り付けられており，合金素材の土台にボルトとナット，金属プ レートを用いたカメラ台の上に固定されている．箱内部への固定もボルトとナッ ト，金属プレートを使用して固定している．これは，着ぐるみが激しい動作を行っ てもカメラ位置がずれないようにするために金属系の強固な素材を使用している． 製作した内部 Web カメラを図 2.3 に示す．LED 照明のアームは，使用者の好みに 変形できるフレキシブルタイプを使用し，ケーブルホルダーとホットボンドで箱内 部に固定されている． 10 確認用ディスプレイと着ぐるみ頭部上段に搭載されている外部 Web カメラ（Logi- Cool HD Pro Webcam C910）は，着ぐるみの「目」の役割を果たし，これを利用 して演者は外の様子を確認できるようになる．着ぐるみシステムの視野は，確認用 ディスプレイの大きさと外部 Web カメラの解像度に依存するが，覗き穴のみでし か外の様子を確認できない従来の着ぐるみよりは，広域で詳細な視野が手に入る． これらの機器は全て，USB ケーブルを介して処理用パソコン（Intel core i7 870， RAM 3.2GB，WindowsXP）に接続されている．この処理用パソコンは，演者の 表情を撮影，表情認識を行い，対応するキャラクタの表情画像を表示する処理を繰 り返す．確認用ディスプレイと外部 Web カメラは，計算負荷を分散するために処 理用パソコンとは別の確認用パソコン（Panasonic Let’s Note CF-R5）に接続され ている． 現在，製作された着ぐるみ頭部は 4kg と非常に重いため，登山用キャリーを使用 して重量による演者への負担を分散，着ぐるみ頭部のバランス調節を行っている． 着ぐるみ頭部と登山用キャリーの接合には，ボルトやナット，金具を使用して頑丈 に固定する．これにより，着ぐるみ頭部の重量はさらに増えてしまうが，従来の演 者の頭首のみで頭部支える着ぐるみより，製作した着ぐるみ頭部の方が身体バラ ンスを安全に保てるようになる．最後に，搭載した機器と着ぐるみ頭部の構成を 図 2.4 に示す．図 2.4 の文章は各機器の説明であり，図 2.4 中央に土台となるプラ スチック製の箱，図 2.4 左側は加工を行い搭載したディスプレイと Web カメラ，図 2.4 右側は補助用に使用した登山用キャリーである． 11 図 2.3: 内部 Web カメラ 図 2.2: 表示用ディスプレイ 12 2.3 着ぐるみ頭部の外・内装 着ぐるみ頭部の土台にプラスチックの箱を使用した．強度や重量は着ぐるみの 活動において支障が出ないと考えられるが，壁面が少し肉薄になり光の透過率が 高い．着ぐるみの主な活動場所は，屋内，屋外，照明機器が多数有るステージ上と 周囲の明るさが変動しやすい環境である．環境の照明を考慮すると，この壁面では 内部 Web カメラの動作に影響が出る可能性がある．そこで，照明が変化しても表 情認識に影響が出ないように着ぐるみに加工を施す． 製作した着ぐるみ頭部の全体を市販の自動車用の遮光フィルムで覆う．使用した 遮光フィルムは可視光線透過率 5%の物である．600lx の室内で箱内部の明るさを 測定したところ，遮光フィルムなしの箱内部の明るさは 35lx，遮光フィルム有りの 箱内部の明るさは 5lx 以下であった．さらに，1,000lx の照明を箱へ当てたところ， 遮光フィルムなしの箱内部の明るさは 45lx，遮光フィルム有りの箱内部の明るさ は 5lx 以下に留まった．これにより，遮光フィルムを用いることで照明の影響が軽 減可能と判断される． さらに，箱の内側には緑色の模造紙を貼り付け，グリーンバックとし，演者の表 情を内部 Web カメラで撮影する時に，カラーバランスの問題が発生しないように した．完成した着ぐるみ頭部の外観を図 2.5 に，内部を図 2.6 に示す．図 2.6 内の 中央に設置してあるのが内部 Web カメラ，内部 Web カメラの後方には確認用ディ スプレイがあり，前方の映像が表示されている．上方と左右には，演者の顔を一定 の明るさで照らす LED 照明が設置されている． 13 図 2.4: 着ぐるみ頭部の構成図 14 図 2.5: 製作した着ぐるみ頭部の外観 15 図 2.6: 製作した着ぐるみ頭部の内部 16 第 3 章 着ぐるみの表情表示システム 第 2 章で製作した着ぐるみ頭部の前面にある表示用ディスプレイに，着ぐるみを 着ている演者の表情を認識し，対応するキャラクタの表情画像を着ぐるみの表情 として表示する手法を開発した．手法の流れは以下の (1)-(6) になる．開発環境は， WindowsXP SP3 Visual Studio2010 で，オープンソースのコンピュータビジョン ライブラリ OpenCV（ver. 2.1，1.1pre，1.0），顔特徴点抽出に Seeing Mashines 社 の faceAPI[16]（ver.4.0.1.75339）をインクルードしている． (1) 内部 Web カメラから演者の表情を撮影 (2) faceAPI による特徴点検出 (3) 特徴点の位置，変化量を測定 (4) 測定されたデータから閾値処理により表情の分類 (5) 分類結果より対応するキャラクタの表情画像を表示 (6) (1) の処理へ戻り，処理の繰り返しへ faceAPI を使用した理由は，動作速度の安定性と顔が傾いた時の特徴点検出の精 度が高いからである．SURF[17] や ASM[18] と顔特徴点抽出には様々な手法がある． しかし，SURF での特徴点抽出は，対象画像内の特徴量を検出してしまうので，顔 特徴点以外の特徴点も抽出してしまう．そして，対象画像が変化すると抽出される 特徴点も大きく変化してしまう可能性がある．一方，ASM は顔特徴点抽出に使用 されるが，faceAPI と動作速度に大きな差がある．上記の (1)-(5) までの処理を 1 回 として，各手法を動作させると ASM は平均 98ms，最短 33ms，最長 167ms となり， faceAPI は平均 67ms，最短 62ms，最長 71ms をそれぞれ記録した．平均速度やバ ラつきから faceAPI の方が安定した処理速度で顔の特徴点抽出が行える．さらに， 17 顔の傾き検出では，ASM は横向きへは± 25 度の傾き耐性があったが，それ以外の 傾きへは耐性がほとんどなかった．一方，faceAPI は顔の全方位の傾きを± 90 度 で検出可能であり，こちらも faceAPI の方が優位であった．以上の事から，今回の 顔特徴点抽出には faceAPI を使用する． 表情認識手法には，2 分決定木と閾値処理を組み合わせた手法を使用する．主成 分分析 [19] やニューラルネットワーク [20]，SVM[21] など様々な手法があるが，表 情認識には特徴点の座標値を設定した閾値をノードとした決定木により演者の表 情を分類し，表出する表情の決定を行う手法を選択した．これは，処理時間の短縮 や図 3.1 に示すような，撮影した演者の顔画像上に検出した特徴点がオーバーライ ドでき，演者を変更しても，直感で閾値の確認と修正ができる利点があるからで ある． 演者の表情とキャラクタの表情画像の対応は，今回は双方の感情が一致するよ うに対応付けする．しかし，本システムは演者の表情はキャラクタの表情画像を切 り替える為のデバイスとして使用しているので，演者が右目でウインクするとキャ ラクタの表情画像が泣いた感情の画像を表示すると言うような双方の感情や表情 が一致しない対応付けも可能である． 3.1 顔特徴点抽出 処理 (1)-(2) では，内部 Web カメラで撮影された演者の顔画像から，faceAPI を 用いて演者の目，眉，口，鼻を特徴点で検出する．なお，faceAPI のソースコード はダウンロード時の内容から改変して使用している．詳細については，3.2 章にて 説明する． 今回，内部 Web カメラは SONY 社の PlayStationEye を使用している．同価格 帯の Web カメラと比較して，撮影できる解像度は低いが 640*480 の解像度で最 大 75fps，320*240 の解像度で最大 120fps と非常に高いフレームレートで動作す る．1920*1080 の解像度で撮影できる Web カメラと 640*480 の解像度で動作させ た PlayStationEye で faceAPI を動作させた所，認識率に違いは確認されなかった． よって，解像度が faceAPI の動作に影響を及ぼさないのであれば，動作速度が高 い PlayStasionEye の使用を決定した．そして，これは本来，家庭用ゲーム機で動 18 作する物である．PC で動作させるには，ドライバが必要だが今回は AlexP 氏 [22] が作成したドライバを使用する．バージョンは v3.0.0.0901 を使用したが，2014 年 1 月現在ダウンロードサイトは一新されドライバも変更されているので，使用には 注意が必要である．さらに，内部 Web カメラへ魚眼レンズを付けて，演者の表情 を撮影しているが，faceAPI は今回使用しているレンズで発生する画像の歪みの影 響を受けずに，顔の特徴点抽出が行えているのを確認したので，画像の歪み補正は 一切行っていない． そして，内部 Web カメラと faceAPI を使用して検出した特徴点を図 3.1 に示す． 図 3.1 内の点は検出された特徴点を示し，眉上の線分は眉の形状を，口上の線分は， 唇の領域を示している． 図 3.1: faceAPI で検出した特徴点 19 faceAPI の準備 faceAPI を公式ダウンロードサイトから ID とパスワードを入力してダウンロー ドし，Zip 形式の圧縮ファイルなので解凍をする．今回ダウンロードしたのは， バージョン 4.0.1.73559 である．フォルダ名にバーションの番号が含まれている場 合は消して， 「faceapi」としておく．apiUbin フォルダの中にデモデータがあるの で，実行し faceAPI が PC で動作するのを確認する．確認が完了したら，PC の 環境変数に faceAPI のパスを通す．環境変数に追加するパスは以下の 2 つである． faceapiUapiUinclude faceapiUapiUlib 保存場所によってフォルダ名などが変化す るが名前変更していないのであれば，上記の 2 つを追加する．環境変数の追加が完 了すると，samplesUtestappconcolec フォルダ内のソリューションファイルを実行 する．ゼロからの作成も可能だが，testappconsolec のプログラムは faceAPI の顔 特徴点抽出のプログラムしか記述されていないので，今回の研究ではサンプルプ ログラムに表情分類やキャラクタの表情画像表示のプログラムを追記していく方 法をとる．まず，今回は OpenCV や PS3Eye を使用しているので，それらのライ ブラリファイルをリンクしておく．リンクやプロパティの設定が完了したら，次に ソースファイル自体の編集を行う．サンプルプログラムには以下のソースファイル がある． • console.c • mutex.c • stdafx.c • subcons.c • testappconsole.c（メインソース） • utils.c この中の subcons.c のプログラムを全て testappconsole.c の最後に移し，subcons.c をコンパイルから除外する．これは，subcons.c 内で処理されている顔特徴点の座 20 標データや目の開閉の判定データを testappconsole.c でも利用できるようにするた めである．あとは，以下に示す箇所に必要なプログラムを記述していけば，着ぐる みの表情表示システムとなる． • 追加する変数→グローバル変数として作成 • 着ぐるみのキャラクタ切り替えシステム（入力デバイスからのデータ取得） → smBool processKeyPress 内の switch 文に追加 • キャラクタの表情画像表示ウィンドウの作成→ runConsole 内に IplImage 作 成を追加 • 着ぐるみの表情表示システム→ Start tracking の while 文内に全て記述 なお，faceAPI から特徴点が 38 点出力されるが，今回使用した特徴点の ID とそ の ID が顔の何処の位置かの対応を表 3.1 と図 3.2 に示す．使用していない特徴点 は，今回着ぐるみを被って実験を行った演者が様々な表情を作っても顕著な変化が 見られなかった為，表情分類などに使用できないから使用しなかった．ID4・200， ID5・204 は同一の位置だがそれぞれの役割があるので，記載している．ID0-7 は faceAPI が顔特徴点を認識して作成する顔モデルの輪郭に使用する主要な特徴点で あり，ID200-204 は顔パーツの「口」のみを抽出した特徴点と言う役割がある．図 3.2 内の大きい点が今回使用した特徴点の位置をその左側の数字が特徴点 ID を小 さい点は研究には使用していないが faceAPI から出力された特徴点の位置を示し ている． 21 表 3.1: 特徴点 ID と顔の対応 特徴点 ID 顔での位置 特徴点 ID 顔での位置 0 右目右端 203 口腔上方中央左寄り 1 右目左端 204 唇左端 2 左目右端 205 口腔下方中央左寄り 3 左目左端 206 口腔下方中央 4 唇右端 207 口腔下方中央右寄り 5 唇左端 300 右眉右端 6 右鼻翼 301 右眉中央 7 左鼻翼 302 右眉左端 100 上唇中央右寄り 400 左眉右端 101 上唇中央 401 左眉中央 102 上唇中央左寄り 402 左眉左端 103 下唇中央左寄り 601 右目中央上方寄り 104 下唇中央 602 右目中央下方寄り 105 下唇中央右寄り 701 左目中央上方寄り 200 唇右端 702 左目中央下方寄り 201 口腔上方中央右寄り 202 口腔上方中央 22 図 3.2: 今回使用した特徴点と ID 23 3.2 表情の分類 処理 (3)-(5) では，検出した特徴点の位置や変化を測定し，あらかじめ設定して おいた閾値と比較して表情の分類を行う．閾値は，演者の表情から検出した特徴点 のデータによって作成・設定でき，表示したいキャラクタ画像と対応付けさせたい 演者の表情も自由に設定できる．閾値の詳細な作成・設定方法は表情分類用閾値の 設定法で述べる． 今回は，Ekman[23] の FACS（Facial Action Coding System）から，分類する表 情を，喜び，怒り，悲しみ，驚きおよび無表情の 5 つとし，演者は以下に示す判定 基準を満たすような顔の動作を行うと，その表情が 5 つのいずれかに分類ように設 定した．図 3.3 に判定基準を満たす演者の表情と対応したキャラクタの表情画像の 例を示す． • 喜び→口の両端を持ち上げ，上唇を平行にする (ID101 − ID200) + (ID101 − ID204) ≤ 喜びの閾値 • 怒り→眉間にしわを寄せ，外側の眉両方を上げる (ID300 − ID302) + (ID402 − ID400) ≥ 怒りの閾値 • 悲しみ→眉間にしわを寄せ，眉間側の眉両方を上げる (ID302 − ID300) + (ID400 − ID402) ≥ 悲しみの閾値 • 驚き→眉全体を持ち上げ，目を見開く (ID301 − ID601) + (ID401 − ID701) ≥ 驚きの閾値 • 無表情→顔パーツを動かさず，しわも作らない 他の表情の判定基準にすべて当てはまらない 表示するキャラクタの表情画像を多様にするために，演者の瞬き（左右個別判 定）と口の開閉も認識，分類に含め 表情 5 種類 × 瞬き 4 種類 × 口の開閉 2 種類 の 全 40 種類の表情へ分類する．瞬きは faceAPI で認識でき，フラグデータとして返っ て来るのでそれを利用する．口の開閉は特徴点 ID202 と ID206 を使用して，口腔 の開き具合を閾値処理して判定を行う．分類された表情に対応するキャラクタの表 24 図 3.3: 演者の表情と対応するキャラクタの表情画像の例 (上から喜び，怒り，悲し み，驚き，無表情) 25 情画像は，あらかじめ用意されており，演者の表情を認識後，即座にキャラクタの 表情画像をディスプレイへ表示する．図 4.2 にキャラクタの表情画像一覧を示す． 処理 (6) で，処理の繰り返しに入り，演者の表情の撮影，特徴点検出，表情の分 類，対応するキャラクタの表情画像の表示の処理を続け，途中で演者が表情を変化 させると着ぐるみの表情であるキャラクタの表情画像が変化して表示されるシス テムとなる．開発した着ぐるみの表情表示システムを動作させている様子を図 3.4 に示す．図 3.4 の右側は，演者がいない状態での内部 Web カメラから撮影された 着ぐるみ頭部の内部の様子を映しており，左側は着ぐるみの表情表示システムを 操作する端末画面になる．演者が着ぐるみシステムを被り，動作させると図 3.4 右 側の状態から図 4.1 左側の状態になり，演者の表情が表示されるようになる．撮影 された画像の周囲に黒い円が表示されるが，これは内部 Web カメラに装着してい る魚眼レンズのフレームであり，faceAPI やシステムの動作に影響はない．図 3.4 左側の端末は，faceAPI の稼働状況や抽出した特徴点の情報を表示したり，演者か らの着ぐるみの表情表示システムの開始や終了などのキー入力を受け付けている． そして，これら二つの画面は自由に拡大縮小できるので，演者が表情の撮影や顔特 徴点の抽出している状況を大画面で確認もできる． 表情分類用閾値の設定法 ここで，3.2 章で使用した閾値の設定方法を紹介する．閾値設定には，機械学習 を用いて特徴点データを自動で取得，閾値の作成も行えるが，今回は特徴点データ の記録するか否かを表情を作っている演者に一存し，演者が再度作れる表情の情 報のみを取得できるようにする．今後，作成していった閾値データなどを参考にし て，学習に使用する特徴点・使用しない特徴点の分類規則や閾値作成の規則などを 作成を行う． まず，演者は着ぐるみ頭部を着用し顔パーツを動かしていない無表情状態の顔 特徴点のデータを複数個測定し，無表情時の顔特徴点の平均データを作成する．次 に，演者は切り替えに使用したい表情を作り，その顔特徴点のデータを複数個測定 する．そのとき，演者は入力デバイスを持ちながら測定を行う．入力デバイスは， 26 PC にキー入力できるものであれば何でもよいが，今回はテンキーを使用している． これは，演者が切り替えに使用したい表情を作って，表情が安定した時に入力デバ イスを操作する事で，作った表情のみの特徴点データを測定しやすくするためであ る．そして，測定した特徴点のデータから無表情と作った表情間で，座標値が顕著 に異なる特徴点を探索する．その特徴点を発見すると無表情時と作った表情時の特 徴点のデータの平均座標値や作った表情時の特徴点のデータに近い座標値を閾値 として設定する． 図 3.4: 着ぐるみの表情表示システム 27 3.3 キャラクタ切り替え機能 付加機能として，複数の種類のキャラクタの表情画像セットを用意しておき，入 力デバイスで表示したいキャラクタを選択すれば，1 体の着ぐるみで複数の種類の キャラクタを演じられるシステムとなる．今回の実験用に用意したキャラクタ画像 の一部を図 3.5 に示す．図 3.5 のキャラクタは，ライアン・フランク・ボーム著の 「オズの魔法使い」に登場する，かかし，ドロシー，ブリキの木こりおよび臆病な ライオンを表現している．入力デバイスはテンキーを用い，演者は片手でキャラク タの切り替えを行う． 図 3.5: キャラクタ画像 (左上：かかし，右上：ドロシー，左下：ブリキの木こり， 右下：臆病なライオン) 28 第 4 章 実験・評価 4.1 稼動実験 製作した着ぐるみシステムを被って稼動実験を行った．動作の様子はビデオ撮 影 (30fps) し，着ぐるみシステムの動作状況や着ぐるみの表情表示システムの処理 速度の評価を行った．ビデオ映像は付録を参照 (ファイル名：Y 001.mp4)．稼動実 験中の演者の表情とキャラクタの表情画像の 1 コマを図 4.1 に示す．図 4.1 の右側 は，今回製作した着ぐるみを着ている演者であり，左側に演者の表情が表示されて いる． 図 4.1: 稼動実験 29 まず，着ぐるみの表情表示システムの評価は，演者の表情と認識により表示され たキャラクタの表情との整合性を複数回の試行により判断する．試行結果を表 4.1 に示す．表 4.1 の行は演者の表情で，列は実際に表示されたキャラクタ画像の表情 である．表情の分類に使用している判定要素の数から考慮すると高い正答数を示 していると言える．しかし，今回の稼働実験に参加した演者は一人のため，今後は 他の演者が参加した場合はどのような結果が得られるか実験を行う必要がある． 次に，図 4.2 には，キャラクタの表情画像一覧を示し，図 4.3 に一覧表と対応さ せて表示したキャラクタの表情画像の遷移図を示す．なお，図 4.2 のキャラクタの 表情画像は左から喜び，怒り，悲しみ，驚き，無表情の順で並べてある．図 4.3 は， 表 1 で取得された試行結果とは異なる結果から作成されている．なお，演者は意図 的に喜びの表情だけは作らないようし，あとは制限無しに表情を作っている．結 果，制限していた喜びの表情は表示されず，多様な遷移が確認され，自由に表情を 変化させていけるのを確認した． そして，演者の表情を認識してから対応するキャラクタの表情画像が表示され るまで平均 67ms 要した．人間の認知速度は，最大 100ms 前後とされているので， この速度であれば，着ぐるみが観客との対話内容に違和感なく表情変化が行われ ると考えられるが，赤松ら [24] の研究では，表情は表出速度によって感情の伝わり 具合に変化があると述べている．本研究も着ぐるみの表情の表出速度をシステム の処理速度に依存した速度から場合に応じ変化させられる速度にすると観客への 感情の伝わり具合に変化が出るかも知れないので，今後の課題として残しておく． 表 4.1: 試行結果 総数 喜び 怒り 悲しみ 驚き 無表情 喜び 35 31 0 3 0 1 怒り 22 0 22 0 0 0 悲しみ 27 2 0 23 1 1 驚き 21 0 1 0 19 1 無表情 17 0 1 0 1 15 30 図 4.2: キャラクタの表情画像一覧 31 図 4.3: 表示されたキャラクタの表情画像の遷移図 32 4.2 印象評価 さらに，製作した着ぐるみを使用して，表情の有無による印象を比較，評価し た．着ぐるみに 1 枚のキャラクタ画像を表示しながら芝居を行うビデオと，演者の 表情認識を行いキャラクタの表情画像が変化しながら表示される芝居を行うビデ オを大学生 256 名 (主に 1 年生，所属学部・専攻・性別は制限なし) に見せ，どち らの着ぐるみに好感を持てるかの選択と感想を記述してもらった．なお，演者は 同一人物，セリフ・動作は同一にし，BGM 等の音響効果はビデオ内に含めていな い．ビデオ映像は付録を参照 (ファイル名：Y 002.mp4 Y 003.mp4)．今回，印象評 価に使用したビデオの 1 コマを図 4.4 に示す．図 4.4 は，着ぐるみの表情有りの状 態で撮影された 1 コマである． 図 4.4: 印象評価ビデオでの 1 コマ（表情有り） その結果，表情が変化する着ぐるみが良いと回答した者が 167 名，表情が変化 しない着ぐるみが良いと回答した者が 89 名であった．これから， 「着ぐるみの表情 の有無は与える印象へ影響がない」という仮説を有意差検定で棄却する [25]．仮説 より，着ぐるみに表情が有る方が好感を持たれる割合を p0 = 0.5 とする．母集団 33 の総数は n = 256，そのうち，着ぐるみに表情が有る方に好感を持った学生の割合 は，p = 0.65 である．有意水準を 5 ％とすると， np − np0 √ = 5.74 > 1.96 np0 (1 − p0 ) となるので，仮説は棄却される．よって，観客の半数以上は着ぐるみに表情が有る 方が好感を持つと考えられる．しかし，今回製作した着ぐるみシステムでは表情を 持つ方が良いと評価を得たが，一般的にイメージされる着ぐるみと比較するとど うなのか？着ぐるみをあまりにも人間に近づけていくと不気味の谷現象 [26] に陥っ てしまい，逆に評価が下がってしまうのではないか？など，評価対象の幅を広げる 必要がある． 4.3 コミュニケーション実験 さらに，製作した着ぐるみでコミュニケーション実験を行った．着ぐるみと観客 が 1 対 1 のじゃんけんを行い，着ぐるみを着ている演者がじゃんけんの勝ち負けに 反応できるかを実験した．観客とのじゃんけん勝負を図 4.5 に示す．図 4.5 内の手 前側にある手は着ぐるみの対戦相手の手である．ビデオ映像は付録を参照 (ファイ ル名：Y 004.mp4)． 掛け声を使ってタイミングを取りながらじゃんけんを行ったが，じゃんけんで出 した手については声を出さなかったが，演者は確認用ディスプレイで観客が出した 手を確認し，勝った時は喜び，負けた時は悲しみ，あいこの時は驚きの表情を瞬時 に示し，じゃんけんは成立したと言える． 4.4 キャラクタ切り替え実験 最後に，表示するキャラクタの表情画像を複数の種類のキャラクタ用意し，キャ ラクタの切り替え実験を行った．キャラクタ切り替え実験の様子を図 4.6 に示す． 演者は入力デバイスとなるテンキーを右手に持ち，表情を維持したままキー入 力を行った．すると，図 4.6 内の左から右へのように表示されているキャラクタの 表情画像が種類の異なるキャラクタの表情画像へ切り替わった，しかし，演者の表 情は変化していないので，分類されている表情は保持されていた．ビデオ映像は付 録を参照 (ファイル名：Y 005.mp4)． 34 4.5 考察 今回，着ぐるみの表情の表示にはディスプレイを使用しているが，着ぐるみとし ての容姿や顔の立体的な表現が損なわれている．さらに．Web カメラを用いての 演者の表情撮影を行っているので，着ぐるみ頭部が肥大し，これも容姿へ影響を及 ぼしている．今後は，ディスプレイパネルの種類の変更や別手法の検討または着ぐ るみ頭部の縮小を行わなければならない． 製作した着ぐるみシステムを稼動させると，キャラクタ画像の変化が極端になっ てしまい，観客が着ぐるみの表情を読み取りづらくなる，または着ぐるみに違和 感を感じてしまう恐れがある．そこで，今までは図 4.7 中段左の演者の表情 (無表 情) から図 4.7 中段右の表情 (喜び) へ変化した時，図 4.7 上段のように演者の表情 変化に合わせてキャラクタの表情画像も変化させているシステムを図 4.7 下段のよ うに，演者の表情が変化したと認識された時に，キャラクタの表情画像全体を切り 替えるのではなく，図 4.7 下段中央のようにキャラクタの表情画像の一部分を切り 替え，演者が変化後の表情を継続したら，キャラクタの表情画像全体を切り替えて いくシステムへ改良する [27]．キャラクタの表情を段階的に切り替えている部分と して，眉の部分を先に変化させるようにする．これは，図 4.8 のようにアニメやマ ンガのキャラクタ画像では，眉の変化だけで相手へ自らの感情を少なからず伝え れるからである．そして，図 4.7 下段中央のキャラクタの表情画像が一部分だけ変 化している画像を中間表情画像と呼ぶ．今回は，顔特徴点抽出の手法が ASM から faceAPI へのシステム以降が完了していないのと，使用するキャラクタ画像に顔以 外の装飾情報の切り出し困難な為，現着ぐるみシステムには中間表情画像の導入 を行っていない． 35 図 4.5: 観客とのじゃんけん勝負 図 4.6: キャラクタ切り替え実験 36 図 4.7: 中間表情画像作成 図 4.8: アニメ・マンガキャラクタの表情変化（眉のみ） 37 第 5 章 むすび 本論文では，着ぐるみが自由に表情を表出し，観客とコミュニケーションを行え るシステムを提案した．着ぐるみシステムの製作，開発を行い，途中で発生した問 題への対処法を示した．そして，製作した着ぐるみシステム動作させ，動作状況の 確認，動作速度の計測，印象評価を行い，有効性を示した．また，観客とのじゃん けん勝負を行い，着ぐるみシステムを通して演者が観客へ反応を返せ，コミュニ ケーションを成立できた．さらに，キャラクタ切り替え機能を導入して，1 体で 1 キャラクタしか演じられなかった着ぐるみを 1 体の着ぐるみシステムで複数のキャ ラクタを演じられるようにした． 今後は，着ぐるみシステムの頭部部分のみではなく，衣装や身体部分の開発を行 う．着ぐるみのキャラクタ切り替えシステムを衣装へも導入して，キャラクタが切 り替わると着ている衣装も同時に切り替わるシステムを開発したい．さらに，一 部の人間でしか評価を受けていないので，様々な所へ赴き，老若男女全ての人から 評価を貰い，今後の改善点を見出したい．評価方法も SD 法 [28] を用いた評価を行 い，着ぐるみシステムのイメージや印象を定量的なデータをして算出したい．そし て，キャラクタの表情の表出までの速度について，中間表情の作成，表示だけでは なく，場合や感情に応じ表情表出速度を変化させられるシステムについて検討して いく．さらには，松山ら [29] の研究では意識的に作られた表情と自発的に出た表情 の表出のタイミング構造を表情譜として記述し，意識的な表情か自発的表情かの 分類法を示している．観客とのコミュニケーションにおいて，表示するキャラクタ 画像にもこの表出タイミングを取り入れるとどのような影響が出るのかにも検討 していく． 38 参考文献 [1] 永田明徳：“顔とノンバーバルコミュニケーション”，信学誌, 91, 2, pp. 142-146 (2008) [2] Google：“Google Glass”，http://www.google.com/glass/start/ [3] Kenny J Smith： “imitation virtual face (2010)”， http://kennyjsmith.com/virtualface.php [4] Mirco Rossi，Burcu Cinaz，Gerhard Tröster：“Ready-To-Live:Wearable Computing Meets Fashion”，UbiComp’11，pp．609-610 (2011) [5] 塩見昌裕，坂本大介，神田崇行，石井カルロス寿憲，石黒浩，萩田紀博：“半 自律型コミュニケーションロボットの開発”，信学論, J92-A, 11, pp. 773-783 (2009) [6] 梶田秀司，中野倫靖，後藤真孝，松坂要佐，中岡慎一郎，横井一仁：“ヒュー マノイドロボットの自然な歌唱動作生成”，第 29 回日本ロボット学会学術講演 会，RSJ2011AC1J3-2 (2011) [7] 三輪洋靖，高信英明，高西淳夫：“人間との情緒的コミュニケーションを目的 とした人間形頭部ロボットの開発 (第 1 報，表情表出機構と視覚系を構築)”， 日本機械学論，C 編 68(675)，3355-3360 (2002) [8] Garner Holt Productions： http://www.garnerholt.com/ghp-inc/products–services/animatronics.aspx [9] SALLY CORPORATION： http://sallycorp.com/animatronics/life-like/ 39 [10] Rika Shoji，Toshiki Yoshiike，Yuka Kikukawa，Tadahiro Nishikawa，Taigetsu Saori，Suketomo Ayaka，Tetsuaki Baba，Kumiko Kushiyama：“mimicat:Face input interface supporting animatronics costume performer’s facial expression”，SIGGRAPH 2012 Posters(2012) [11] 森田圭介，今井順一，金子正秀：“顔特徴点位置の統計的性質を利用した顔部 分形状の抽出精度向上と似顔絵作成”，映情学技報, 34, 10, pp. 65-68 (2010) [12] 瀬尾昌孝，陳延偉：“B-スプライン関数を用いた顔の輪郭線近似と似顔絵シス テム”，信学技報, HIP, 106(541), 1-4 (2007) [13] Peter Lincoln，Greg Welch，Andrew Nashel，Adrian Ilie，Andrei State， Henny Fuchs “Animatronic Shader Lamps Avatars”，ISMAR 2009, 27-33 (2009) [14] 楠見孝，米田英嗣，小島隆次：“アバターの感情表出機能によるマルチユーザ 仮想空間コミュニケーション・システムの改良”，日本教育工学会論文誌, 31, 415-424 (2007) [15] Yoshiki Oka，Tomoaki Kida，Masanobu Yamamoto：“A Cartoon-Character Costume with Facial Expression”，SIGGRAPH ASIA 2011 Posters(2011) [16] Seeing Machines：“faceAPI”， http://www.seeingmachines.com/product/faceapi/ [17] H. Bay, T. Tuytelaars, and L.V. Gool, “SURF: Speeded Up Robust Features”， Proc. of the 9th European Conference on Computer Vision, May 2006. [18] D.H. Cooper, T.F. Cootes, C.J. Taylor, and J. Graham, “Active shape models - their training and application”， Computer Vision and Image Understanding, pp.38-59, 1995. [19] 赤松茂：“人による認知特性と整合した顔表情認識のための特徴表現法”，信 学技報, PRMU2002-205 pp. 25-32 (2003) 40 [20] 渡部徹，石原由一朗，岸田悟，徳高平蔵：“顔画像の表情認識問題における階 層型ニューラルネットワークの適用”，信学技報, NC97-8 pp. 57-62 (1997) [21] Irene Kotsia，Ioannis Pitas：“Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vector Machines”，IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.16， NO.1， pp. 172-187 (2007) [22] AlexP，codelaboratories：“旧：PS3Eye Camera Setup v3.0.0.0901.exe”， “現：CL-Eye-Driver-5.3.0.0341.exe”， 旧：http://alexpopovich.wordpress.com/ 現：http://codelaboratories.com/downloads/ [23] Paul Ekman：“The facial action coding system”，Consultion Psychologists Press (1978) [24] 蒲池みゆき，吉川佐紀子，赤松茂：“変化速度は表情認知に影響するか？ ：動画 刺激を用いた顔表情認知の時間特性の解明”，信学技報, HCS, 98(311), 17-24 (1998) [25] 和達三樹，十河清：“キーポイント確率・統計”，岩波書店 (2000) [26] 森政弘：“不気味の谷”, Energy 7.4, 33-35 (1970) [27] 岡芳樹，山本正信：“スムーズに表情が変化する着ぐるみシステムの開発”，信 学総大， Mar.21,2012 D-12-68 (2012) [28] 岩下豊彦：“SD 法によるイメージ測定：その理解と実施の手引き”，川島書店 (1983) [29] 平山高嗣，川嶋宏彰，西山正紘，松山隆司：“表情譜 : 顔パーツ間のタイミン グ構造に基づく表情の記述”，HI 学会誌, 9(2), 271-281 (2007) 41 発表論文 論文 岡芳樹，山本正信： “表情が変化する着ぐるみ頭部システム”, 映像情報メディア学会誌 Vol.68, No.2, p.J72-J77 (2014) 国際会議 YoshikiOka，TomoakiKida，MasanobuYamamoto： “A Cartoon-Character Costume with Facial Expression”, SIGGRAPH ASIA 2011 Posters，55-0236 (2011) YoshikiOka，MasanobuYamamoto： “A Cartoon-Character Costume with Active Facial Expression”, The International Display Workshops 2013, INP2/DES2-4, pp.1622-1625 (2013) 全国大会 岡芳樹，山本正信： “スムーズに表情が変化する着ぐるみシステムの開発”, 信学総大 Mar.21，2012 D-12-68，(2012) 42 謝辞 本研究と論文作成にあたり，御指導，御指摘をして頂きました山本正信教授，牧 野秀夫教授，山崎達也教授，林貴宏准教授に感謝の意を表します．また，本研究の キャラクタ画像の製作に御協力を頂きました JAM 日本アニメ・マンガ専門学校の 関係者様にも感謝致します．そして，研究期間中に有益な御意見，御協力を頂きま した皆様にも感謝致します． 43 付録 実験時の動画について 今回行われた実験の様子を以下のアドレスで示す．http://www.vision.ie.niigata- u.ac.jp/oka yoshiki/ 44