Comments
Description
Transcript
2010 年度 修士論文 論文題名 3 次元モーフィングモデル による顔表情
2010 年度 修士論文 論文題名 3 次元モーフィングモデル による顔表情生成 指導教授 赤松 茂 大学院工学研究科 システム工学専攻修士課程 09R6102 氏名 いのまた ひろとし 猪俣 拓利 あらまし 現在，3D の顔モデルに対し表情を生成する際には，真顔のデータに対して手作業で各造 作を変形させる方法や，顔モデルに表情表出に伴う見かけの変化や表情筋のモデルを設定 し，そのパラメータを変化させて表情を生成する方法がとられている．しかし，これらの 顔の造作を個別に操作する手法では，顔全体として自然な表情を生成するのに必要な複数 の造作を適切に関連付けて制御するパラメータの調整が煩雑になりやすい．そこで，本論 文では多数の顔の，3 次元顔形状データからモーフィングモデルを作成し，男女の性差を 生成した先行研究[17]にもとづいて，この手法を表情に応用できないか試みた． キーワード 表情生成，3D オブジェクトのベクトル表現，3 次元モーフィングモデル， 主成分分析，次元数削減 Abstract Generation of arbitrary facial expressions to 3D face model has been usually achieved by either manual processing of the neutral face model or parametric control of the muscular model of expression pre-embedded in the face model. In these methods in which each facial feature is designed individually, proper adjustments of mutually related parameters for ensuring the overall naturalness of the facial expression are likely to be a cumbersome task. On the other hand, some previous works have investigated sexual dimorphism in facial features by means of a morphable 3D face model obtained by applying PCA to a set of 3D data obtained from both male and female faces[8]. In this work, we attempted to employ the latter approach featured by the morphable 3D face model for facial expression generation tasks. Keyword facial expression generation, vector representation of 3D object, morphable 3D model, PCA, dimensionality reduction 目次 1 まえがき 1.1 ノンバーバルコミュニケーションとその優位性 1.2 表情を形成する身体的部位について 1.3 CG におけるキャラクターの描写の変遷 2 CG とは 2.1 CG の起源と発展 2.2 CG におけるモデルの定義 2.2.1 サーフェスモデル 2.2.2 ソリッドモデル 3 研究に使用する表情データベースとその加工 3.1 研究に使用するデータベース 3.2 データベースの加工 3.2.1 3D モデリングソフトによる加工 3.2.2 既存のプログラムによる加工 4 3 次元モーフィングモデル 4.1 3 次元モーフィングモデルの生成 4.2 標準得点の生成 5 予備実験‐新規の真顔に対する表情の主観評定実験‐ 5.1 新規の真顔データに対する表情の生成 5.2 生成表情の評価実験 5.3 実験結果 6 各表情と主成分の相関に関する分析 6.1 各主成分と，そこから認識される表情との相関について 6.1.1 一対比較法 6.1.2 一対比較法による表情認識実験 6.1.3 実験結果 6.2 有効主成分による表情表出実験 6.2.1 平均真顔と新規真顔に対する表情生成 6.2.2 表情認識実験 6.2.3 実験結果 7 今後の展望 8 謝辞 1 まえがき 1.1 ノンバーバルコミュニケーションとその有意性 人と人がコミュニケーションをとる際，発せられた言葉以外にも，視線，表情，身振 り，声色など，あらゆる情報を用いて意思疎通を図ることは周知の事実である．そして この，非言語における意思疎通手段を総称して「ノンバーバルコミュニケーション」と 呼ぶ[1]． この「ノンバーバルコミュニケーション」の重要性を示した有名な実験に，アメリカ の心理学者アルバート・メラビアン（Albert Mehrabian）の行った実験がある． 彼の実験は，コミュニケーションを行うときに必要になる 3 つの要素（言語，声のト ーン，表情）を矛盾させた状態で被験者に情報を提示させ，そこから受けた印象が言語 情報と一致するかというものである． その結果，メッセージ伝達に占める割合はそれぞれ，言語：7％，声のトーンや口調： 38％，表情：55％であった[2]． もちろんこの結果は限定された環境下にて行われたものであり，一般的に当てはまる ものではないが，「サルや人間などの霊長類は主として視覚情報を情報取得の際に使用 する」という生物学的な特徴とも一致し，ノンバーバルコミュニケーションがコミュニ ケーションの際，重要な役割を占めていることが分かる． ここで，このようなノンバーバルコミュニケーションの中でも「表情」は，その人の 印象や感情を端的に示すだけでなく，その人の健康状態なども表す重要な情報源である ことはよく知られている． 1.2 表情 情を形成す する身体的 的部位につ ついて[3] 我々は は普段，無 無意識のうち ちに「表情 情」を作り出している る．一般的 に，これは は顔面下の 筋肉の働 働きによる るものであることは知 知られているが，ここ こでは医学 学的な観点か から，実際 際 に顔面化 化にどのよ ような筋肉が分布して ており，それらがどの のような働 働きをしてい いるのか見 見 る． 人間の の頭部の全 全ての運動は は，そこに に存在する筋 筋肉の伸縮 縮によって成 成り立って ている．こ の筋肉には「顔面 面表情筋」と「咀嚼筋 筋」があり，これらの の区分は頭 頭部に存在す する神経に に よって分 分類される る． まずは は，この神 神経について て説明する る．頭部には脳神経の のいくつか が分布して ており，そ のうち一 一般的な知 知覚や運動を支配して ているものが第Ⅴ脳神 神経の「三叉 叉神経」 （図 1）と第 第 Ⅶ脳神経 経の「顔面 面神経」 （図 図 2）である る．なお，口を開くの のは頸部の 舌骨筋群の の働きによ る． 三叉神 神経は，三 三叉神経節（半月神経 経節）から眼神経，上 上顎神経， 下顎神経に に分岐し， この下顎 顎神経が咬 咬筋，側頭筋など，下 下顎骨の運 運動に関与す する咀嚼筋 筋を支配する る． 顔面神 神経はもと ともと味覚という特殊 殊感覚線維や や副交感神 神経を含ん でいるが，それらは は 頭蓋骨の内部で分 分岐し，顔面神経とし して頭蓋骨から出てく くる際には は運動神経線 線維のみに に なっている．これ れらの線維 維は後耳介神 神経を分枝 枝した後，耳 耳下腺の中 中で神経叢を形成し， さらに 5 本の枝に に分かれてそれぞれの の顔面表情筋に分布し していく． 図1 三叉神経 経の分布 図 2 顔面神経 経の分布 次に，先に述べ べた頭部にあ ある「顔面 面表情筋」 （図 （ 3）およ よび「咀嚼筋 筋」 （図 4）について て 述べる． まず，顔面表情 情筋は人体に にほかに存 存在する一般 般の筋とは は異なり，皮 皮下の結合 合組織内を 走行して皮膚に停 停止する筋で，皮筋に に分類される．この筋 筋が伸縮す することによ よって皮膚 膚 が引っ張られ，眉 眉が上がりひたいに横 横じわが生じたり，口 口角が引き あげられた たり下がっ たりして顔の表情 情が作られる． また，顔面表情 情筋の中には は目や口と といった開口部を取り り巻くよう に走行し，収縮する ことによって開口 口部を閉鎖する，眼輪 輪筋や口輪 輪筋もある． 図 3 顔面表情筋 筋 一方，咀嚼筋は は側頭筋，咬 咬筋，内側 側翼突筋，外 外側翼突筋 筋の 4 つが あり，これ れらはどれ れ も下顎骨 骨に停止す する． 側頭筋 筋，咬筋，内側翼突筋 筋派兵咬筋 筋とも呼ばれ れ，収縮す すると下顎 が引き上げ げられ，口 を閉じる．逆に，外側翼突筋は下顎骨 骨の関節頭を前方に引 引っ張る筋 筋で，一方の のみが収縮 縮 すると下顎は反対 対側に向き，両側が収 収縮すると下顎が前に に出てくる ． 図4 咀嚼 嚼筋 次に，頸部の筋 筋は最表層の の広頸筋， その仮想の胸鎖乳突 突筋，その 下層の舌骨 骨上筋群と 舌骨下筋 筋群，そし して最下層の斜角筋群 群と椎前筋群からなる る．ここで では表情に関 関連する筋 筋 肉として，舌骨上 上筋群と舌骨下筋群 （図 5）につ ついて説明 明する． 舌骨上 上筋群には は，舌骨と下 下顎をつな なぐ顎舌骨筋 筋とオトガ ガイ舌骨筋 ，側頭骨と とをつなぐ ぐ 茎突舌筋 筋がある．側頭骨から起こって て下顎骨に停止する顎 顎二腹筋の 中間腱は，舌骨に付 付 着した線 線維性の滑 滑車の輪の中を通って ている． 舌骨下 下筋群は舌 舌骨を引き下 下げる筋群 群であり，舌 舌骨上筋と とともに下顎 顎を引き下 下げ，口を 開く働きがある．舌骨下筋群には，胸 胸骨と舌骨をつなぐ胸 胸骨舌骨筋 筋と肩甲骨と と舌骨をつ つ なぐ肩甲舌骨筋が があり，その下には途 途中で甲状軟骨に停止 止して二つ に分かれて ている胸骨 骨 骨状筋と，甲状舌 舌骨筋がある． 図5 舌骨上筋と舌骨下筋 筋 これら ら全ての筋 筋肉が連動し して動作す することによ より，人の のあらゆる表 表情が生成 成される． これら らの筋肉と表情の関係 係について て調べたもの のに，FACS S（Facial Acction Coding g System） [4][5] が存在する ．これは，こ これらのそ それぞれの筋 筋肉が伸縮 縮すること で，人間の の顔にどの ような変 変化がみら られるのかを調べ，そ それぞれの動作を 44 の AU（Acction Unit）と呼ばれ れ る基本動 動作に分類 類し，この AU A の組み 合わせによ よって表情を記述する るというものである． このよ ように形成 成される「表 表情」を扱 扱った研究には，最近 近一般的に なってきた た，顔や表 表 [6] 情を認識 識するカメ メラのようなコンピュ ュータに対 対する表情認 認識の研究 究 以外にも も，表情認 認 識能力 の乏しい自 自閉症患者 者と健常者 の脳の働き きの違いか から表情認識 識の脳的な なメカニズ ズ [7] ムを分析 析するもの のや ，ある る表情の画 画像に対して，人が受 受ける印象 の差異を分 分析するも [8][9] [10][11] の ，ロボットを を用いて人 人間の表情を を模倣しようとするも もの な などがあり り，今や「表 表 情」を扱 扱う研究も も様々な方面から行わ われている． ここで で，このよ ような研究の の内，特に に医学的，心 心理学的研 研究におい て，視覚提 提示刺激と して特定 定の表情を を表示する際，これま まではその多くが写真 真やビデオ オ映像が用い いられてき た．しかし，その のような提示 示刺激を用 用いた場合，たとえば ば新たな表 表情の写真を を追加しよ うとしたときなど ど，既存のデータベー ースをそのまま拡張す することは は物理的に不 不可能であ る．この問題に対 対し，顔の 3 次元モデ デルを用いて，単一の の方法で任 任意の表情を を生成して 刺激に用 用いること とができれば，この問 問題は解決 決する． 1.3 CG G におけるキャラクターの描写 写の変遷 このよ ような 3 次元モデルに 次 に対する表 表情生成が多 多用される る分野に， 「 「映像コンテ テンツ」が ある．ここではま まず，この分野におけ ける技術の発展を述べ べる． 1995 年にディズ ズニーから公開された た「トイ・ストーリー ー[13]」が， 世界最初の のフル CG G アニメーション作 作品である．なお，こ この映画が が公開される前にも 「ターミネーター2」 や「ジュラシック クパーク」といった映 映画にも CG が使われ れてはいる が，これら らの映画は は それまで特撮に頼 頼っていた部分を CG G に置き換 換えたもので であり，特 特にキャラク クターに表 表 [12 2] 情を持たせるとい いったことはなされて ていない ．「トイ・ストーリ ー」では，ある少年 年 の所有す する「おも もちゃ」達が主役とい いう設定であり，また たそうする ことにより り当時の技 技 術的問題 題点を回避 避していることが伺え える．たとえば図 6 の，キャラ の クターのひ ひじや肩の 部分がチューブの のように潰れてしまっ っている．ボーンを使 使ったモデ デルにおいて て顕著に起 起 こるこのような問 問題であるが，キャラ ラクターが「人」では はなく「お もちゃ」で であればこ のような技術的課 課題も設定的にクリア アされる． 図 6 トイ・ス ストーリーよ より「ウッ ッディー」 次に，フルアニメーション ン作品では はないが，C CG を実写と と非常によ く組み合わ わせること ができている例と として，2002 年公開 された，「ハリーポッ ッターと秘 秘密の部屋」より「ド ド [14]] ビー 」（図 7）を見てみる ると，これ れは「ウッデ ディー」（図 図 6）と比 比較して，そ その存在感 感 が一際増している る．このキ キャラクター ーでは，「サ サブサーフ フェイス・ スキャタリ リング」と いう技術 術が使われ れている．これは光が が半透明な物体の表面 面を透過し し，内部で散 散乱した後 後 に表面から出てい いくメカニズムのこと とであり，主に皮膚の の表現など どに用いられ れる． 図 7 ハリーポッ ッターシリーズより「ドビー」 ここで で，映画作 作品には非常 常に多額の の製作費と人 人員がかけ けられ，ま た非常に専 専門的なソ フトや技 技術が用い いられるのが一般的で である．そこ こで，映画ほど恵まれ れた制作環 環境に無く， またこれ れ以上に身 身近な例として，最近 近のゲームを見てみる る．ここで では，2010 年 9 月 300 日にサービスを開 開始したオンラインゲ ゲーム「ファイナルフ ファンタジ ーXIV[15]」 （図 9）を 例にとる． 図 8 ファイナル ルファンタ タジーXIV の 1 シーン ン このゲ ゲームは「 「ファイナル ルファンタ ジー」とい いう 1987 年から続く 年 ヒット作の の最新作で で あり，ゲーム業界 界の中でも最大級の作 作品であるため，現在 在販売され れているゲー ームすべて て に対しこれほどの のクオリティがあるわ わけではない．しかし し，図 9 か からもわか かるとおり， 今やゲームの分野においてもキャラクターが実在する人間のように表情を表出する描 写の導入は一般的になりつつある． ここで，このような 3 次元モデルのキャラクター対し表情を作成する場合，その多く は，真顔のモデルからクリエイターが一から手作業で表情を作成したり，研究分野にお いては先に述べたような FACS を応用する研究[5]や，顔を形成するポリゴンモデル内に， 先に述べた表情を形成する筋肉のうちのいくつか特徴的な筋肉のモデルを作成し，その パラメータを操作することによってその表情顔を推定する方法[16]がとられている． しかしこれらの方法では，クリエイターが手作業で作成する場合には，作成された表 情顔はそのクリエイターの技術と感性に依存してしまい，FACS や表情筋モデルを使用 した場合も，各 AU や表情筋モデルとの動作と表情とを関連付けるパラメータの設定に おける問題が存在し，かつ，3D で定義されたモデルは通常サーフェスモデルであり， その内部構造まではデータとして存在しないにもかかわらず，そのそれぞれのモデルに おける筋肉の位置を正確に把握しなければならないという問題が存在する． これに対し，人の顔形状に対して主成分分析を適用する研究が行われている[17][18][19]． これらの研究では、あるデータベースの 3 次元形状データに対し主成分分析を行うこと によって顔の形状の多様な形状を表現し，得られた少数のパラメータを変化させること によって容易にその 3 次元形状を変化させるというものであり，この研究には表情だけ でなく，任意の 3 次元顔形状データから生成したモーフィングモデルによって男女の性 差を生成した研究なども行われている[17]． 本研究では，これらの研究を元に，いくつかの表情からなる顔の 3 次元形状データベ ースを対象に主成分分析を行い，そこから得られたデータを用いて，データベースに存 在しない新規の顔について，真顔から任意の表情の 3 次元モーフィングモデルを生成で きないか，またモーフィングモデルを形成する主成分にどのような特徴があるのかを考 察する． 2 CG とは CG は「コンピュータ・グラフィックス」の略語であることはよく知られているが，CG に使われている技術については，一般的にはあまり知られていない．そこで，改めて CG がどのように成り立ち，現在どのような技術が一般的に用いられているのかを考察する． 2.1 CG の起源と発展[20] そもそも，CG の起源は 1963 年，アメリカのアイバン・エドワード・サザランド（Ivan Edward Sutherland）博士が開発した，Sketchpad であると言われる．これは現在の CAD の前身にあたるシステムであるが，当初はヒューマンインターフェースとしての 開発されたシステムであった[21]．これが発表された当時，パーソナルコンピュータ（PC） など存在するわけもなく，ディスプレイは大型演算機の演算結果を表示するものでし かなかったため，モノクロ表示しかできなかった．そこで，描写するモデルの輪郭の みを表示する「ワイヤーフレームモデル（図 9）」が使用された．その後，カラーディ スプレイが登場し，モデルをカラーで表示することができるようになり，モデルに面 が定義されるようになってからモデルの見えていない部分の線を消す「陰面消去（図 10）」という技術が使われるようになり，そのモデル空間上に光源を設定し，その光源 からモデルの表面への光の反射を計算することで一番原始的なシェーディング技術 「フラットシェーディング（図 11）」が使われた． その後，1971 年にモデルの頂点の法線ベクトルをもとに面の光の反射を計算する「グ ーローシェーディング（図 12）」[22]が，1973 年にハイライトを表示できる「フォンシ ェーディング（図 13）」[23]が発表され，現在のシェーディング技術の基礎が確立した． その後，1979 年 に「レイトレーシング」技術が考案され，反射や屈折，影の描写が 可能になった． さらに 1984 年に，光の２次反射以降も計算する「ラジオシティ（図 15）」が発表さ れ，影の微細なボケなどが表現できるようになった． ここで，これ以降も様々な技術が発表され続けているが，PC のスペックの都合上， 作品を作成する際に現在一般的に使用されている技術はこの辺りまでである． 図 9 ワイヤ ヤーフレーム ムモデル 図 11 フラットシェー ーディング グ 図 13 フォンシェーデ ディング 図 10 カラー表示 カ 示と陰面消去 去 図 12 グーローシ グ シェーディン ング 図 14 レイトレ レーシング 図 15 1 ラジオ オシティ 2.2 CG G におけるモデルの定義 さきにも少し述べ べたが，CG G はもとも もとワイヤー ーフレーム ムと呼ばれ る頂点と辺 辺のみから なる図形 形で描写され れていた．ここでは，このワイヤーフレー ームから発 発展し，現在 在 3 次元の の いる「サー 物体を描 描写する際に最もよく く使われてい ーフェスモデ デル」と，2 次元画像 像における 「ピクセ セル」にあた たる，3 次元の「ボク 次 クセル」を用いた「ソ ソリッドモ モデル」につ ついて説明 する． 2.2.1 サ サーフェス スモデル サー ーフェスモデ デルとはそ その名の通 り，物体の表面だけが が定義され れたモデルの のことであ あ る．サ サーフェスモデルに一 一般的なも のに，一つ つの面をポ ポリゴンと呼 呼ばれる三 三角形や四 角形で で表現し，その集合で で一つの物 物体を表現す する方法（ （図 16）や や，ベジェ曲 曲線やスプ プ ライン ン曲線，NU URBS 曲線 線などを用 いた自由曲 曲面を使用して物体を を表現する方法（図 17）が がとられて ている． これ れらのモデル ルの特徴と として，これ れらのモデルに定義さ されている のはあくま まで物体の 「表面 面だけ」で である．これ れが現実的 的なものの見 見え方と決 決定的に違う うのは，例 例えば実際 に存在 在するビーチボールな などをイメ ージした場 場合，ボー ールを割って て裏側から ら覗くと当 然そこ こにはボール表面を構 構成してい いるビニール ルが見えるわけである るが，これ れらのモデ リング グ手法によってモデル ルを作成し した場合，裏 裏側から覗 覗いた場合， そこには は何も表示 されな ない．これ れは，「サーフェスモデ デル」を描 描画する際， 「表面のみ み」を描画 画するため である る． 図 16 ポリゴ ゴンモデル ルの例[26] 図 17 NURBS モ モデルの例 例[26] なお，こ これらの描写された 3 次元物体 体一つ一つの のことを， 「オブジェ クト」と呼 呼ぶ． モデル 2.2.2 ソリッドモ サー ーフェスモデ デルが物体 体の表面のみ みを描画す するモデルで であったの のに対し，ソリッドモ ソ モ デルは は，物体の内部構造ま まで定義す するモデルで である．通常，2D 画 画像の「ピク クセル」に に 対し，3D では「ボクセル ル」という単 単位を使用し，これに により物体 体を定義する る．一般に に は，液 液体や雲，煙などの流 流体の表現 現に使用され れ，現在で では炎や溶岩 岩，人の髪 髪の毛など もこれ れによって作られるほ ほか，医療 療分野におい いて患部の の状態を表現 現して、断 断面図を作 [27] 成する る場合などにも有効で である 。 3 研究 究に使用す する表情デ データベー ースとそ その加工 3.1 研究 究に使用す する表情デ データベー ース 本研究 究を行うに にあたり，3 次元モデル ルによる表 表情のデータベースと として ATR R 三次元顔 顔 表情データベース ス[27]を使用 用した． このデ データベー ースには 10 0 代～60 代 代までの日本 本人男女が が各 5 名（表 表１，図 9） 9 ，そのそ れぞれについて表 表情が 9 種類（図 種 10 0），合計で で 90 個の三 三次元の顔 顔データが含 含まれてい い る．図 10 からも もわかるとおり，この のデータベースにおけ ける「表情 情」とは人間 間の感情を 示すような「表情 情」ではなく，発話動 動作まで含んだ広義の の「表情」 を示す． 表 1 デー ータベースに含まれて ている性別 別と年齢，お およびその の人数の関係 係 性 男性 女性 性別 別 年齢 齢 20代 30代 440代 60代 代 10代 20代 30代 2 1 1 1 3 人数 数 1 1 女性 男性 図 9 ATR R 表情デー ータベースに に含まれる る人物データ タ くいしばる 笑い（閉 閉口） [i]発音 真顔 [o]発音 (cleench) (csmille) ([i]) （neutral） （[[o]） 開口 笑い（開口 口） 唇を突き出す 唇 す [u]発音 n） （open （osmilee） （prot） （[u]） 図 10 0 データベ ベースに含 含まれる表情 情とその例 例 このデ データベー ースはアメリカの Cyb berware 社製カラー 社 デジタイザ ザ 3030RGB/PS およ び 402 20RGB/PS を用いて測定されて ている．これらのデジ ジタイザは はいずれも被 被験者の頭 頭 の周りをスキャナ ナヘッドが回転し，レ レーザーを照射して形 形状を測定 定すると同時 時に，表面 面 色からテクスチャ ャ画像を生成するもの のである．このため，このデー ータベース内 内の測定デ デ ータは被 被験者の頭 頭部から首回りにかけ けての 360 度方向の形 形状とテク スチャデー ータを含ん ん だものとなってお おり，これらは別個に に，それぞれ.obj 形式 式および.jp pg 形式で含 含まれてい い こで，.obj 形式は 形 3D D データのデータ形式 式のひとつ であり，こ この形式は は る（図 11）．ここ デリングソフトが対応 応する汎用性のあるデ データ形式 式である．ま また，この あらゆる 3D モデ 形式は 3 次元物体の 次 形状のみを を保持することができ きる． データ形 図 11 データベ ベースに別個に含まれ れている形状データ（左） （ とテク クスチャデー ータ（右） 3.2 デー ータベース スの加工 3.2.1 3D モデリングソフ フトによる 加工 図 11 にもある通 通り，このデータベー ースは形状データとテ テクスチャ データが別 別個に存在 在 する．今 今回研究対 対象とするのは顔形状 状だけであるため，本 本来ならば ば形状データ タのみを用 いればよい．しか かし，今回研 研究に使用 用したすべての自作プ プログラム はその性質 質上ポリゴ ゴ ンデータに対応し してはおらず，テクス スチャを表示すること とによって その点に対 対応するオ オ ブジェクト上の点 点を操作するため，形 形状とテクスチャを統 統合する必 必要がある．また，本 本 研究は表 表情の研究 究であり，それ以外の の髪形や首まわり，一 一部のデー ータに移りこ こんでいる 背景などはすべて てノイズとなってしま まう．そのため，それ れらの測定 定点を除去し しなければ ば ならない．今回は はこれらの作業を 3dssMax 8 により，手作 作業にて行 行った． 収録デ データはす すべてポリゴ ゴンオブジ ジェクトとして定義さ されており ，デジタイ イザにより 取得された測定点 点はこの頂点となって ている．そ そのため，3 3D モデリ ングソフト トにデータ をインポートする るだけで顔形状がポリ リゴンオブジェクトと として表示 示される．な なお，収録 録 データは約 20 万点の測定デ 万 データから なる． 次に，収録デー ータの座標値 値は 0~1 ま までの数値で規格化さ されており ，これは実 実データの 1/10 で であった．そのため，この研究 究ではデータ タをインポ ポートした のち，この の大きさを を 10 倍し して使用して ている． その後 後，テクス スチャマッピ ピングを行 行い，頂点に にテクスチ チャの色を登 登録する．この時， 3dsMa ax はデフォ ォルトの設 設定でモデ デルの正面 面とテクスチ チャの正面 面とが一致 致したが， RapidF Form2006 を使用した場合はこ これらが一致しなかっ った．その 意味で，こ この作業は は 使用するモデリン ングソフトを選ぶ可能 能性がある． これら らの作業を をしたのち，不要な測 測定点，すな なわちポリ リゴンオブ ジェクトの の頂点を手 手 動で削除していく く．髪の毛の生え際， 耳の付け根，首の付 付け根を通 通る範囲によ よって切り 分けた（図 12）． 図 12 1 データ タベースか から取得した た顔の例 ここで で， 「二重あ あご」の問題が発生し した．図 9 を見てもわ わかる通り ，人の顎の の形は特に に 千差万別であり，また年齢 齢とともに脂 脂肪の沈着 着，筋肉の衰 衰退により り，「二重あ あご」がで で きやすくなる．二 二重あごでないデータ タはえらの部分を目安 安に切り分 分けたので問 問題はなか か ったのだが，二重 重あごの人はえらの部 部分が分からなくなる る．そのた ため今回は，表出して て いる首の付け根の の部分と耳の付け根の の部分をもとに，不自 自然になら ないように に切り出し し た． 図 13 二重あごの人とそう うでない人 人のモデルの の切り出し し方の違い この作 作業が終わ わった時点で で，各デー ータの頂点数 数は約 300 000 ほどで であった．し しかし，こ の数ではデータの の点が荒すぎてそのま ままでは使 使用すること とができな なかったため め，オブジ ジ ェクトのポリゴン ンを分割することによ よってその頂点数を 300000～6 3 600000 点に に増やした た． なお，当研究室で で保有する る 3 次元レ ンジファイ インダ Dan nae-R によ って顔デー ータを取得 得 した場合 合，その測 測定点は 30 00000 点ほ ほどになる． ． 次に，得られた たデータを研 研究に使用 用できる形式 式に変換す する必要が ある．本研 研究では 3 次元形状 状データは は.ace という形式を使 使用しているのだが，3dsMax には.ace で出力する で 機 能 が 存 在 し な か っ た ． そ の た め ， 一 度 .ase 形 式 で 出 力 し ， そ の デ ー タ を RapidF Form2006 にてインポ ポート，.a ace で再度エ エクスポー ートしなお した． 3.2.2 既存のプ プログラムによる加工 工 上記 記のようにし して生成し したそれぞれ れのデータ タは，それら ら一つ一つ の顔の位置 置や角度だ だ けでな なく点の数 数も，そのデ データ上に に存在する測 測定点の順 順番もすべ てバラバラ ラであり， これら らのデータを同じもの のとして扱 扱う場合，このままで では非常に不 不便である る．そのた た め，こ これらを統 統一しなけれ ればならな ない．今回は は以下のようにして作 作業を行っ った． 1) 特徴点 点抽出 (1 図 14 に示 示すように特徴点を抽 抽出する．まず目，眉 眉，口など どある程度視 視覚的に明 瞭 瞭にわかる部 部分を手動 動で抽出し， ，その後取得した特徴 徴点から残 残りの点を自 自動で計算 算 し した．手動抽 抽出により り 51 箇所， 自動抽出 出により 73 個所，合計 計 124 箇所 所の特徴点 点 を を指定した． ． 図 14 手動 動による特 特徴点抽出(左 左)と，自動 動での特徴 徴点抽出(右 右) 2) 位置と角度の正規 規化 (2 得られた特 特徴点を用いて，次の のように顔 顔の位置と方 方向を一致 致させた a) 左 左右の瞳の 特徴点を結 結ぶ直線が が，x 軸(横 横方向)と平行 平行になるよ よう回転す す る る． b) 鼻 鼻根部の特 特徴点を原点 点に設定し し，この点と と鼻の下の 特徴点を結 結ぶ直線が y 軸方向(縦 縦方向)と平 平行になるよ よう回転す する． (3 3) 再サン ンプリング 得られた た特徴点をも もとに顔の の 3 次元形状 状を残しつつ点の数を を削減する．この時， す すべてのモ モデルに対して同一の の手法により点を取得 得すること によって，すべての の モ モデルにお おける対応点を取得す することができる． まず，基 基底三角形点 点群を定義 義する（図 15）．この の時この三角 角形は直角 角二等辺三 三 角 角形であり り，再サンプリングの の基準となる点をそれ れぞれの辺 に 20 点ず ずつ，つま り三角形内 内に合計 21 10 点定義す する． 次に，図 12 右の図 図にあるよう うに顔のモ モデルを三角 角形のメッ ッシュに分割 割し，基底 底 三 三角形点群 群を変形，モデルにフ フィッティングし，そ そのときの 法線方向の の最近傍点 点 を再サンプ プリング点として抽出 出する． 図 15 規定三角形点群 うことによ って，本研 研究に使用 用される顔形 形状データ タは一つの これらの処理を行う デ データにつ つき 47460 点で表現さ されること とになった． 4 3 次元モーフィングモデル 4.1 3 次元モーフィングモデルの生成 さまざまな形状をベクトル表現した多次元ベクトルについて主成分分析を適用すること で，その形状の多様性を少数のパラメータで表現した 3 次元モーフィングモデルが獲得さ れる． 以下にその計算手順を示す．なお， N 次元ベクトル x m (m = 1,2,L , M ) は M 個の上記のよ うにして処理された表情データの形状を表すベクトルとする． a） サンプル集合に含まれる M 個の 3 次元形状表す N 次元ベクトル x m (m = 1,2, L , M ) の 平均ベクトル μ を求める． 1 μ= M M ∑x m =1 (1) m b） M 個の N 次元ベクトル x m (m = 1,2,L , M ) をサンプル全体の平均ベクトル μ との差分 ベクトル φ m (m = 1,2, L , M ) に変換する． φ m = x m − μ (m = 1,2, L , M ) (2) 差 分 ベ ク ト ル φ m (m = 1,2,L , M ) の 第 i 成 分 を φ m ,i (i = 1,2, L , N ) と す る と ， φm t = (φm,1 , φm, 2 , L , φm, N ) と表される． c） M 個の差分ベクトル φ m (m = 1,2, L , M ) を並べた N × M の行列を A とする． A = (φ1 , φ 2 ,L, φ M ) d） 行列 A とその転置行列 A t との積により，R = (3) 1 A ⋅ A t のような N × N の標本共分散行 M 列 R を求め， R に対する固有値，固有ベクトルを求めるのだが，学習サンプル x m (m = 1,2,L , M ) の次元数 N は膨大な値の多次元ベクトルになるため固有値，固有ベ クトルを求めることは困難である．そこで特異値分解により計算を以下のように求め ることにした．行列 A の転置行列 A t を求め， A t ⋅ A によって M × M の行列 L を導く． L = At ⋅ A L L1,M ⎤ ⎡ L1,1 ⎢ ⎥ O ⎢ ⎥ M ⎥ Lm ,n =⎢ M ⎢ ⎥ O ⎢ ⎥ ⎢ LM ,1 ⎥ L L M ,M ⎦ ⎣ ただし， Lm,n は Lm ,n = 1 M N ∑φ i =1 m ,i (4) ⋅ φn ,i (m = 1,2,L, M , n = 1,2,L, M ) である． e） M × M の行列 L について， M 個の固有ベクトル Vl (l = 1,2,L, M ) を求める． LVl = λl Vl (l = 1,2,L, M ) (5) ただし， l = 1,2,L, M の順序は，固有値 λl の大きい順に定めるものとする． λ1 ≥ λ2 ≥ L ≥ λl ≥ L ≥ λM (6) f） M 次元ベクトル Vl から，(7)式のように N 次元ベクトル ψ l (l = 1,2,L, M ) を求める． ψ l = A ⋅ Vl = (φ1 , φ 2 ,L, φ M ) ⋅ Vl (7) M = ∑ vi ,m ⋅ φ m (l = 1,2,L, M ) m =1 M 個の N 次元ベクトル ψ l (l = 1,2,L, M ) は N × N 行列 AA t の固有ベクトルであり，(8)式を 満足することが知られている． AA t ⋅ ψ l = λl ⋅ ψ l (l = 1,2,L, M ) (8) g） N 次元ベクトル ψ l (l = 1,2,L, M ) を正規化し，単位ベクトル U k (k = 1,2,L, K ) を求める． 1 Uk = ∑ψ i =1 (9) ψk N 2 k ,i ただし， ψ k = (ψ k ,1 ,ψ k , 2 ,L,ψ k , N ) とする．ところで(3)式により， A = (φ1 , φ 2 ,L, φ M ) であっ t たから N × N 行列 AA t は AA t = 1 M M ∑φ m =1 m φm t (10) となり，AA t は M 個の N 次元ベクトル x m (m = 1,2,L , M ) の標本共分散行列に他ならない． M 個の N 次元ベクトル U k (k = 1,2,L, K ) は，この標本共分散行列に互いに直交する大きさ 1 の固有ベクトルとなる．したがって U k (k = 1,2,L, K ) は，サンプル集合 M 個の N 次元ベク トル x m (m = 1,2,L , M ) を主成分分析することによって求める正規直交基底となる． h） N 次 元 ベ ク ト ル x m (m = 1,2,L, M ) は パ ラ メ ー タ 空 間 上 で k 次 元 ベ ク ト ル f m (m = 1,2,L, M ) として次元圧縮される． f m ,k ( m = 1,2,L, M , k = 1,2,L, K ≤ M ) と表される f m (m = 1,2,L, M ) の第 k 成分は(11)式のよう に k 番目の正規直交基底 U k (k = 1,2,L, K ) に x m − μ (m = 1,2,L, M ) に射影することによって 得られる． f m ,k = U k ⋅ (x m − μ) (m = 1,2,L, M , k = 1,2,L, K ≤ M ) t (11) なお， U k (k = 1,2,L, K ) は，分析した顔形状データのパターンの多様性をより良く反映さ せるために，固有値の大きさ順に K 個の固有ベクトルを選択したものである． 逆にこの正規直交基底 U k (k = 1,2,L, K ) を用いて(12)式のような線形結合を求め，このと きのパラメータ f k (k = 1,2,L, K ) を任意に変化させることによって多様な顔形状を生成する ことができる．この x̂ を 3 次元モーフィングモデルと呼んでいる． K xˆ = μ + ∑ f k ⋅ U k k =1 (12) 4.2 標準得点の生成 k 番目の固有ベクトル U k が多次元ベクトル x m (m = 1,2,L , M ) で表現された顔の 3 次元形 状のどのような変化を担っているかを可視化するために， U k に対して(13)式に示すよう に係数 Pc (c = 1,2,L) によって段階的な重み付けした結果を顔画像として生成し，その変化 を観察する． xˆ k ,c = μ + Pcσ ⋅ U k (13) ここで，σ は(11)式によって得られた f m ,k (m = 1,2, L M ) の標準偏差で(14)式のように表さ れる． σ= 1 M ∑ f m ,k M − 1 m =1 このようにして得られた係数 Pc を標準得点と呼ぶ． (14) 5 予備実験 -新規の真顔に対する表情の主観評定実験- 5.1 新規の真顔データに対する表情の生成 当研究室で所持する NEC 製 3 次元レンジファインダ「Danae-R」を用いてデータベ ースに存在しない新規の真顔 3 次元形状データを取得し，それに対して以下のようにし て表情顔の生成を試みる． M 人の被験者からなる表情顔のデータを主成分分析することによって得られたそれ ぞれの表情におけるパラメータを f̂ l ,m （ l ：表情の種類，： m 被撮影者）とすると，（15） 式のようにして表情変化ベクトルを求めることができる． ∑ (fˆ N v neutral →* = n =1 *, m − fˆneutral , m M ) （ * ≠ neutral ） （15） また，新規真顔データから（11）式を用いて得られたパラメータを f̂ neutral,r （ r ：被撮影 者）とすると，（16）式によって新規真顔データの表情顔を示すパラメータが生成され ると考えられる． fˆ*,l = fˆneutral ,r + v neutral →* （16） 5.2 生成 成表情の評 評価実験 10 代 代後半から 20 2 代前半の の男女各 3 名の新規真 真顔データ タ（図 16）を取得し，前述の既 既 存のプログラムに による処理を行った後 後，表 2 にあ ある表情全ての合成表 表情顔を生 生成した（図 図 17～図 22）． この際 際，実験を を行う上で， ，被験者が が合成表情に設定され れたテクス チャにより り錯覚をお お こす可能 能性を考え え，このテクスチャを をグレー1 色とし，R RapidForm m2006 にて て再ポリゴ ゴ ン化，3dsMax の同一環境 の 下でレンダ ダリングを行ったもの のを実験刺 刺激として用 用意してい い る． （ （A） （D D） （B） （E） 図 16 実験に使 使用した男女 6 名の真 真顔データ （C） （F） くいし しばる 真顔 顔 笑 笑い（開口） ） 笑い い（閉口） [o]発音 唇 唇を突き出 出す 図 17 合 合成した表情 情顔（A） [i]発音 開口 [u]発 発音 くいし しばる 真顔 顔 笑 笑い（開口） ） 笑い い（閉口） [o]発音 唇 唇を突き出 出す 図 18 合 合成した表情 情顔（B） [i]発音 開口 [u]発 発音 笑い（閉口） [i]発 発音 真顔 [o]発音 音 開口 笑 笑い（開口） ） 唇 唇を突き出 出す 図 19 合成した表 表情顔（C） くいしばる [u]発 発音 笑い（閉口） [i]発 発音 真顔 [o]発音 音 開口 笑 笑い（開口） ） 唇 唇を突き出 出す 図 20 合成した表 表情顔（D） くいしばる [u]発 発音 笑い（閉口） [i]発 発音 真顔 [o]発音 音 開口 笑 笑い（開口） ） 唇 唇を突き出 出す 図 21 合成した表 表情顔（E） くいしばる [u]発 発音 笑い（閉口） [i]発 発音 真顔 [o]発音 音 開口 笑 笑い（開口） ） 唇 唇を突き出 出す 図 22 合成した表 表情顔（F） ） くいしばる [u]発 発音 その後 後，生成し した合成顔を を 19 人の被 被験者に対 対し，図 23 3 のように 提示し，提 提示された た 合成顔が，右に表 表示されたデータベー ース内の各表情の平均 均顔の，ど どれに最も良 良く相当す す る表情かを選択さ させた． 図 23 新規モデル による表情 新 情識別実験用フォーム ム 5.3 実験 験結果 実験結 結果は表 3 のようにな なった．表 表 3 は，ある新規真顔 顔から合成 成された表情 情を提示し し たとき，その表情 情が図 23 右に示した 右 た表情のどれに近いと と判断され れたかを各表 表情につい い ての判定結果をパ パーセントで表したも ものである． 表2か から，まず ず， 「開口」については は，100％「開口」で であると認識 識されてい いる．また， 「笑い（閉口）」「真顔」「唇 唇を突き出 す」の 3 表情におい 表 いても認識率 率が 60％を を超えてお お り，良好 好な結果が が得られている． 反面，「[u]発音」「[o]発音 音」について ては，「[u]発音」は「唇を突き 出す」と全 全く同じ選 選 択傾向が示され，「[o]発音」について ては一応「[[o]発音」が が一番多く 選択されて てはいるも のの，その実「[u u]発音」と とほとんど区 区別ができ きていない． ． また，「くいしば ばる」「[i]発 発音」およ よび「笑い（開口）」はすべて 「笑い（開口）」と認 認 識される傾向があ ある． これら らの結果か から，本研究 究で使用し している AT TR 三次元表 表情データ タベースに含 含まれる 9 表情のうち，「笑い（閉口） 」「真顔」「開口」「笑 笑い（開口）」「唇を突 突き出す」の 5 つが 認識しや やすい表情 情であると推測され，また表情変化ベクト トルは有効 効に機能して ていること がいえる． 表 2 新規顔に対 新 対する合成表 表情の主観 観評定結果 （単位：％） ） 6 各表情と主成分の相関に関する分析 6.1 各主成分と，そこから認識される表情との相関について 上記のような結果から，「笑い（閉口）」「開口」「笑い（開口）」「唇を突き出す」の 4 種類の表情について，Thurston の一対比較法[13]を用いることによって表情合成に寄与 する主成分の役割を詳細に分析する． 6.1.1 Thurston の一対比較法 Thurston の一対比較法は，より好まれるものにより高い心理学数値を，反対に好ま れないものに低い数値を与える手法である．その手法を以下に示す． a） 評価対象の個数を k とすると，各被験者に k ( k + 1) / 2 対の一対比較を行ってもらう ことになり，その結果を表 3 のようにまとめることができる．被験者の人数を n 人 とすると，このような表が n 個作れる．この表では aij は 1 または 0 の数値であり， Ai 行 A j 列の数値 aij が 1 の場合 Ai を一対比較で選択したことを表し，逆に 0 の場合 A j を一対比較で選択したことを表す．したがって， Ai 行 A j 列と A j 行 Ai 列は逆の数 値が入ることになる． 表 3 評定結果 A1 A2 … Ak a12 … a1k A2 a21 - … a2 k M Ak M ak1 M ak 2 O M … - A1 b） 表 3 に示す n 人の評定結果を（17）式に示すように， n 人分合算したもの bij を表 4 のようにまとめる．表 4 では bij + b ji = n となる．なお， （17）式の aij (x ) は被験者 x の Ai 行 A j 列の数値を表わすものとする． bij = aij (1) + aij ( 2) + L + aij (17) (n) 表 4 結果合算値 A1 A2 … Ak b12 … b1k A2 b21 - … b2 k M Ak M bk1 M bk 2 O M … - A1 c） 表 4 の各数値 bij を被験者数 n で割り， （18）式に示す比率 pij を求め，表 5 のように まとめる．表 5 では p ij + p ji = 1 となる． pij = 1 bij n (18) 表 5 結果合算値比率 A1 A2 … Ak p12 … p1k A2 p21 - … p2 k M Ak M pk 1 M pk 2 O M … - A1 d） 表 5 に示す比率 pij の標準正規分布の逆関数 z ij を表 6 のようにまとめる．標準正規 分布とは（19）式で与えられるものである． x2 f ( x) = 1 −2 e 2π (19) 次に，（20）式に示すように，各行の値の合計値 zi を表 6 のようにまとめる． zi = zi1 + zi 2 + L + zik (20) （21）式に示す尺度値 μ i を表 6 の 最後に，上記の合計値 zi を評価対象の個数 k で割り， ようにまとめる． μi = 1 zi k (21) 表 6 尺度値 A1 A2 … Ak 合計値 尺度値 z12 … z1k z1 A2 z21 - … z2k z2 μ1 μ2 M Ak M zk1 M zk 2 O M … - M zk A1 M μk 6.1.2 一 一対比較法 法による表情認識実験 験 図3はA ATR 三次元 元顔表情デ データベース スを主成分 分分析した結 結果の累積 積寄与率であ ある． これより り，今回実 実験に使用す する主成分 分は第 1 主成分から累 累積寄与率 率 90％に達 達する第 12 2 主成分まで でと，下位 位主成分から第 25，5 50，75 主成 成分を選択 択した． 図 24 AT TR 三次元顔 顔表情デー ータベースの の主成分分 分析における る累積寄与 与率 これらの のそれぞれ れの主成分に について，図 25 のように，デー ータベース 内の真顔デ データの平 平 均顔の標準 準得点の値 値をそれぞれ れ独立して て－1～＋1 の範囲で 0.5 ずつ変 変化させるこ ことで，各 各 主成分の特 特徴を反映 映させた合成 成顔を生成 成する．ここで，この の数値は顔 顔の変化が明 明瞭にわか か り，なおか かつ顔その のものが不自然になら らないように に設定した た． 一対比較 較実験では，表 4 のよ ような文章 を提示した た後，各主成 成分ごとに に作成した合 合成顔を 2 つずつ，す すべての組 組み合わせを提示し， そのモデル ルの内のど どちらが指 示により当 当てはまる かを選択さ させた． これによ より，試行 行数は各表情 情につき 15 50（5C2×15）試行と となった． 表 4 各表情 情モデルと選 選択時の指 指示 表 表情 指示 笑 笑い 左右の画像 左 像でより微 微笑んでいる方を を選んで ください。 く 。 （閉 閉口） 開 開口 笑 笑い （開 開口） 唇 唇を 突き き出す 左右の画像 左 像でより口をあけている方 方を選ん でください で い。 左右の画像 左 像でより笑 笑っている方を選 選んでく ださい。 だ 左右の画像 左 像でより唇 唇を突き出してい いる方を 選んでくだ 選 ださい。 標 準得点値の の移動量 -1.0 -0.5 0（平均真 真顔） +0.5 +1 1.0 第一主成分 第二主成分 第三主成分 第四主成分 第五主成分 第六主成分 第七主成分 第八主成分 第九主成分 第十主成分 第十一主成分 第十二主成分 第二五主成分 第五〇主成分 第七五主成分 図 25 A ATR 三次元 元表情デー ータベースの の平均真顔 顔と，その特 特定主成分 分を操作した た合成表情 情 6.1.3 実験結果 それぞれの表情について，一対比較実験によって得られたデータをグラフ化したもの が図 26~29 である．このグラフから R2 値を算出し，グラフに単調増加傾向の見られる R2＞0.9 となった主成分はその表情生成に対し有効であると判断した．各表情における 有効主成分は表 5 のようになっている 第2主成分 1.8 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 第1主成分 0.3 -0.2 -1.0 -0.5 -0.7 0.0 +0.5 -0.2 +1.0 -1.0 1.3 1.3 0.8 0.8 R² = 0.0436 0.0 +0.5 -0.7 -1.2 +1.0 尺度値 尺度値 1.8 -0.5 +1.0 第4主成分 1.8 -1.0 +0.5 標準得点値の移動量 第3主成分 -0.2 0.0 R² = 0.9507 -1.2 標準得点値の移動量 0.3 -0.5 -0.7 R² = 0.9314 -1.2 0.3 R² = 0.9711 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 標準得点値の移動量 -1.2 標準得点値の移動量 +1.0 第6主成分 1.8 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 第5主成分 0.3 -0.2 -1.0 -0.5 0.0 +0.5 R² = 0.9223 -0.7 -1.2 0.3 -0.2 +1.0 R² = 0.0002 -1.0 -1.2 1.8 1.3 1.3 0.3 0.0 +0.5 0.8 尺度値 尺度値 R² = 0.898 -0.5 R² = 0.7303 0.3 -0.2 +1.0 -0.7 -1.0 -1.2 標準得点値の移動量 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 +0.5 +1.0 第10主成分 1.8 0.3 -1.2 0.0 標準得点値の移動量 第9主成分 -0.7 -0.5 -0.7 -1.2 -0.2 +1.0 第8主成分 1.8 -1.0 +0.5 標準得点値の移動量 第7主成分 -0.2 0.0 -0.7 標準得点値の移動量 0.8 -0.5 -1.0 -0.5 0.0 +0.5 R² = 0.8871 標準得点値の移動量 +1.0 R² = 0.5042 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 -1.2 標準得点値の移動量 +1.0 第12主成分 1.8 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 第11主成分 0.3 -0.2 -1.0 -0.5 -0.7 -1.2 0.0 0.3 -0.2 +0.5 +1.0 R² = 0.8732 -1.0 -0.7 -1.2 標準得点値の移動量 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 第50主成分 1.8 0.3 -1.0 -0.5 -0.7 -1.2 0.0 +0.5 +1.0 R² = 0.6484 標準得点値の移動量 第25主成分 -0.2 -0.5 0.0 +0.5 +1.0 R² = 0.7009 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 -1.2 標準得点値の移動量 R² = 0.2441 0.3 標準得点値の移動量 第75主成分 1.8 1.3 尺度値 0.8 R² = 0.0297 0.3 -0.2 -1.0 -0.5 0.0 +0.5 +1.0 -0.7 -1.2 標準得点値の移動量 図 26 各主成分ごとにおける一対比較実験結果－笑い（閉口） +1.0 第1主成分 第2主成分 1.8 1.8 R² = 0.9177 1.3 1.3 0.8 尺度値 尺度値 0.8 0.3 -0.2 R² = 0.9242 -1.0 -0.5 0.0 +0.5 0.3 -0.2 +1.0 -1.0 -1.2 -1.2 標準得点値の移動量 1.3 1.3 0.8 0.8 尺度値 尺度値 1.8 0.3 -1.0 -0.5 0.0 +0.5 -1.2 R² = 0.9114 0.3 -0.2 +1.0 R² = 0.6293 -0.7 -1.0 -1.2 標準得点値の移動量 1.8 1.3 1.3 R² = 0.9221 -0.5 0.0 +0.5 +1.0 標準得点値の移動量 0.8 尺度値 0.3 -1.0 0.0 第6主成分 1.8 0.8 -0.5 -0.7 第5主成分 尺度値 +1.0 第4主成分 1.8 +0.5 -0.7 -1.2 +0.5 標準得点値の移動量 第3主成分 -0.2 0.0 -0.7 -0.7 -0.2 -0.5 +1.0 R² = 0.0014 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 標準得点値の移動量 -1.2 標準得点値の移動量 +1.0 第8主成分 1.8 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 第7主成分 0.3 -0.2 -1.0 -0.5 0.0 +0.5 R² = 0.9769 -0.7 -1.2 0.3 -0.2 +1.0 R² = 0.6579 -1.0 -1.2 1.8 1.3 1.3 尺度値 尺度値 0.8 R² = 0.6968 0.3 -0.5 0.0 +0.5 R² = 0.5915 0.3 -0.2 +1.0 -0.7 -1.0 -1.2 標準得点値の移動量 +0.5 +1.0 第25主成分 1.8 1.8 1.3 1.3 0.8 0.8 R² = 0.2227 0.3 -1.0 -0.5 0.0 +0.5 -0.7 +1.0 尺度値 尺度値 0.0 標準得点値の移動量 第11主成分 -1.2 -0.5 -0.7 -1.2 -0.2 +1.0 第10主成分 1.8 -1.0 +0.5 標準得点値の移動量 第9主成分 -0.2 0.0 -0.7 標準得点値の移動量 0.8 -0.5 R² = 0.1603 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 標準得点値の移動量 -1.2 標準得点値の移動量 +1.0 第75主成分 1.8 1.8 1.3 1.3 0.8 0.8 R² = 0.3638 0.3 -0.2 -1.0 -0.5 0.0 +0.5 +1.0 尺度値 尺度値 第50主成分 0.3 -0.2 -0.7 -0.7 -1.2 -1.2 標準得点値の移動量 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.5518 標準得点値の移動量 第12主成分 1.8 1.3 尺度値 0.8 0.3 -0.2 -0.7 -1.2 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.6262 標準得点値の移動量 図 27 各主成分ごとにおける一対比較実験結果－開口 第2主成分 1.8 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 第1主成分 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.2 +1.0 R² = 0.7165 -0.7 -1.2 0.3 -1.0 -1.2 標準得点値の移動量 1.3 1.3 0.8 0.8 尺度値 尺度値 1.8 0.3 -0.5 0.0 -0.7 -1.2 標準得点値の移動量 0.3 -0.2 +0.5 +1.0 R² = 0.6469 R² = 0.9014 -1.0 -1.2 標準得点値の移動量 1.3 1.3 0.8 0.8 尺度値 尺度値 1.8 -0.7 -1.2 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.7146 標準得点値の移動量 0.0 +0.5 +1.0 標準得点値の移動量 第6主成分 1.8 0.3 -0.5 -0.7 第5主成分 -0.2 +0.5 +1.0 R² = 0.7603 第4主成分 1.8 -1.0 0.0 -0.7 第3主成分 -0.2 -0.5 R² = 0.4888 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 -1.2 標準得点値の移動量 +1.0 第7主成分 1.8 1.8 1.3 1.3 R² = 0.8674 0.3 -0.2 -1.0 -0.5 0.0 +0.5 0.8 尺度値 0.8 尺度値 第8主成分 -0.2 +1.0 -0.7 R² = 0.4775 0.3 -1.0 -1.2 標準得点値の移動量 1.3 1.3 0.8 0.8 尺度値 尺度値 1.8 0.3 -1.0 -0.5 -0.7 -1.2 -0.2 0.0 +0.5 +1.0 R² = 0.8436 R² = 0.0644 0.3 -1.0 -1.2 標準得点値の移動量 1.3 1.3 0.8 0.8 尺度値 尺度値 1.8 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.6797 標準得点値の移動量 0.0 +0.5 +1.0 標準得点値の移動量 第12主成分 1.8 0.3 -0.5 -0.7 第11主成分 -1.2 +1.0 第10主成分 1.8 -0.7 +0.5 標準得点値の移動量 第9主成分 -0.2 0.0 -0.7 -1.2 -0.2 -0.5 0.3 -0.2 -0.7 -1.2 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.9139 標準得点値の移動量 第50主成分 1.8 1.8 1.3 1.3 0.8 0.8 R² = 0.7863 0.3 -0.2 -1.0 -0.5 0.0 +0.5 +1.0 尺度値 尺度値 第25主成分 R² = 0.2898 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 -0.7 -1.2 -1.2 標準得点値の移動量 標準得点値の移動量 第75主成分 1.8 1.3 尺度値 0.8 R² = 0.2885 0.3 -0.2 -1.0 -0.5 0.0 +0.5 +1.0 -0.7 -1.2 標準得点値の移動量 図 28 各主成分ごとにおける一対比較実験結果－笑い（開口） +1.0 第1主成分 第2主成分 1.8 1.8 1.3 1.3 R² = 0.759 0.8 尺度値 尺度値 0.8 0.3 -0.2 -1.0 -0.5 0.0 +0.5 0.3 -0.2 +1.0 -0.7 R² = 0.8191 -1.0 -1.2 標準得点値の移動量 1.3 1.3 0.8 0.8 尺度値 尺度値 1.8 0.3 -1.0 -0.5 0.0 +0.5 -1.2 0.3 -0.2 +1.0 R² = 0.943 -0.7 -1.0 1.8 1.3 1.3 尺度値 0.3 0.0 +1.0 標準得点値の移動量 0.8 R² = 0.9562 -0.5 +0.5 第6主成分 1.8 -1.0 0.0 R² = 0.8732 -1.2 標準得点値の移動量 0.8 -0.5 -0.7 第5主成分 尺度値 +1.0 第4主成分 1.8 +0.5 -0.7 -1.2 +0.5 標準得点値の移動量 第3主成分 -0.2 0.0 -0.7 -1.2 -0.2 -0.5 +1.0 R² = 0.6372 0.3 -0.2 -1.0 -0.5 0.0 +0.5 -0.7 標準得点値の移動量 -1.2 標準得点値の移動量 +1.0 第8主成分 1.8 1.8 1.3 1.3 0.8 0.8 尺度値 尺度値 第7主成分 0.3 -0.2 -1.0 -0.5 -0.7 0.0 +0.5 -0.2 +1.0 -1.0 -1.2 標準得点値の移動量 1.8 1.3 1.3 0.8 R² = 0.7274 尺度値 尺度値 第10主成分 1.8 0.3 -0.2 -1.0 -0.5 0.0 +0.5 R² = 0.5053 0.3 -0.2 +1.0 -1.0 -1.2 -1.2 標準得点値の移動量 +0.5 +1.0 第12主成分 1.8 1.8 1.3 1.3 0.8 0.8 R² = 0.8686 0.3 -1.0 -0.5 0.0 +0.5 +1.0 尺度値 尺度値 0.0 標準得点値の移動量 第11主成分 0.3 -0.2 -0.7 -0.7 -1.2 -0.5 -0.7 -0.7 -0.2 0.0 +0.5 +1.0 R² = 0.7063 標準得点値の移動量 第9主成分 0.8 -0.5 -0.7 R² = 0.9674 -1.2 0.3 標準得点値の移動量 -1.2 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.628 標準得点値の移動量 第25主成分 第50主成分 1.8 1.8 1.3 1.3 0.8 R² = 0.0881 尺度値 尺度値 0.8 0.3 -0.2 -1.0 -0.5 0.0 +0.5 0.3 -0.2 +1.0 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.014 -0.7 -0.7 -1.2 -1.2 標準得点値の移動量 標準得点値の移動量 第75主成分 1.8 1.3 尺度値 0.8 0.3 -0.2 -0.7 -1.2 -1.0 -0.5 0.0 +0.5 +1.0 R² = 0.881 標準得点値の移動量 図 29 各主成分ごとにおける一対比較実験結果－唇を突き出す 表 5 表情と選択した主成分の次元 選択主成分 笑い （閉口） 開口 笑い （開口） 唇を 突き出す 1 1 4 3 2 2 12 5 4 4 5 5 7 7 6.2 有効 効主成分に による表情 情表出実験 験 6.2.1 平 平均真顔と と新規真顔に対する表 表情の生成 成 平均 均真顔データ タ，および び予備実験で で使用した た 6 つの新規 規真顔デー ータから，各表情の表 各 表 5 にあ ある主成分の標準得点 点値を，図 26~29 における，尺 尺度値の高 高い方向へま まとめて変 変 化させ せ，それぞ ぞれの表情の の合成顔を を生成する．このとき き，各主成 成分における る値を 0.2 2 ずつ，その移動 動量の絶対値 値が 1.0 と なるまで移 移動する． 標準 準得点値の の移動量 0 0.2 0 0.4 0.6 0.8 笑い（閉口） 開口 笑い（開口） 唇を突き出す 図 30 平均 均真顔につい いて生成し した表情 1.0 0 0.2 0 0.4 笑い（閉口） 開口 笑い（開口） 唇を突き出す 図3 31 サンプ プル（A）に について生成 成した表情 情 0.6 0.8 1.0 0 0.2 0 0.4 笑い（閉口） 開口 笑い（開口） 唇を突き出す 図3 32 サンプ プル（B）に について生成 成した表情 情 0.6 0.8 1.0 0 0.2 0 0.4 笑い（閉口） 開口 笑い（開口） 唇を突き出す 図3 33 サンプ プル（C）に について生成 成した表情 情 0.6 0.8 1.0 0 0.2 0 0.4 笑い（閉口） 開口 笑い（開口） 唇を突き出す 図3 34 サンプ プル（D）に について生成 成した表情 情 0.6 0.8 1.0 0 0.2 0 0.4 笑い（閉口） 開口 笑い（開口） 唇を突き出す 図3 35 サンプ プル（E）に について生成 成した表情 情 0.6 0.8 1.0 0 0.2 0 0.4 0.6 0.8 1.0 笑い（閉口） 開口 笑い（開口） 唇を突き出す 図3 36 サンプ プル（F）に について生成 成した表情 情 6.2.2 表 表情認識実 実験 図 3 31~36 の合 合成顔を，各 各表情につ ついて，それぞれのモ モデルごと に一対比較 較法を用い い て評価 価する．実 実験する際に にはまず表 表 4 の指示内容を表示 示し，その 後それぞれ れの人物別 別 に，対 対応する表情 情顔を 2 つずつ表示 つ し，指示内容によりあ あてはまる ものを選択 択させる． 試行数 数は各表情 情につき 105(6C2×7)試 試行となっ った． 6.2.3 実 実験結果 23 名 名の被験者 者に対し一対 対比較の実 実験を行い，得られた た結果が図 37～図 40 である． これ れらの結果か から，「開口」，「唇を を突き出す」について ては，平均 均真顔の線周 周辺に新規 規 真顔の の線が分布 布しており，今回選択 択した主成分 分はこれら ら表情の特徴 徴を反映し していると 考えら られる． 一方 方で， 「笑い い（開口）」については は，平均真顔に関して てのみ良好 好な結果が得 得られてお お り，新 新規真顔に に関しては良 良好な結果 果が得られて ていない．このこと から，ある る特徴を持 持 った真 真顔に対し し生成された た表情顔の の表情の特徴 徴が小さす すぎたこと が原因であ あり，採用 した主成分の累積寄与率が少なすぎたことが原因であると考えられる． また「笑い（閉口）」は傾向としては右上がりであるものの，平均真顔ですら良好な 結果は得られていない．ここで上記の「開口」，「唇を突き出す」と比べてみると，こ れらの二つの指示は「口の動き」に注目するような指示であるのに対し， 「笑い（開口）」 および「笑い（閉口）」は顔全体の印象であるため，今回のパラメータ設定方法ではう まくいかなかったのではないかと考えられる． 5 4.5 尺度値 4 3.5 A 3 B 2.5 C 2 neutral 1.5 D 1 E 0.5 F 0 -0.5 0.0 0.2 0.4 0.6 0.8 標準得点値の移動量 1.0 図 37 「笑い（閉口）」結果 5 4.5 尺度値 4 3.5 A 3 B 2.5 C 2 neutral 1.5 D 1 E 0.5 F 0 -0.5 0.0 0.2 0.4 0.6 0.8 標準得点値の移動量 図 38 「開口」結果 1.0 5 4.5 尺度値 4 3.5 A 3 B 2.5 C 2 neutral 1.5 D 1 E 0.5 F 0 -0.5 0.0 0.2 0.4 0.6 0.8 標準得点値の移動量 1.0 図 39 「笑い（開口）」結果 5 4.5 尺度値 4 3.5 A 3 B 2.5 C 2 neutral 1.5 D 1 E 0.5 F 0 -0.5 0.0 0.2 0.4 0.6 0.8 標準得点値の移動量 1.0 図 40 「唇を突き出す」結果 7 今後の展望 これまでの結果から， 「口の動きに注目した」表情の生成についてはこれまでの方法であ る程度対処できると考えられる． その意味で，今回は顔全体を被験者に対し表示し，一連の実験を行ったが，このデータ ベースの特性から「口周辺のみ」の画像を生成し，実験を行うことで，今回とは別の結果 が得られる可能性が考えられる． また，顔全体の印象を変化させるような表情を生成する際に，それぞれの主成分の累積 寄与率や一対比較法で評定された相関係数を考慮したパラメータ設定を行うことや，表情 を変化させる際に選択した主成分の累積寄与率をそろえることによってもこの問題は解決 できるのではないかと考えられる． また，本研究では純粋に表情の生成について最適な手法を模索するため，作成された合 成顔の，実験環境における見え方の差異は比較していない．本来これらの研究をする上で 最適な実験刺激の提示方法が存在するはずであり，それらは冒頭に述べた「シェーディン グ」や「サブサーフェイススキャタリング」といった技術を導入し実験刺激を提示するこ とや，3 次元の形状データを扱っていることから，今回のように正面顔だけでなくあらゆ る方向からその生成されたモデルを見せる方が正確な評価につながり，またその必要があ ると考えられる． 8 謝辞 本研究の一部には，科学研究費補助金（新学術領域研究 20119005, 基盤研究 (B) 21300084,）の助成を得た．ここに記して謝意を表す． また，本研究において環境を整え，指導いただいた赤松茂教授，また研究を進めるうえで 助力いただいた研究室のメンバーにも合わせて謝意を表す． 参考文献 [1] 永田明徳， “顔とノンバーバルコミュニケーション，”電子情報通信学会誌，Vol91，No.2，pp.142 －146，Feb. 2008. [2] Albert Mehrabian,“NONVERBAL COMMUNICATION,”Aldine De Gruyter，pp181-182， 2007 [3] 坂井建雄，橋本尚詞，“ぜんぶわかる 人体解剖図，”pp102-111，成美堂出版，2011 [4] Wikipedia,“Facial Action Coding System，” http://en.wikipedia.org/wiki/Facial_Action_C oding_System [5] 柳沢博昭，祖川慎治，前島謙宣，四倉達夫，森島繁雄，“モーションキャプチャによる顔表情の 定量表現，”電子情報通信学会技術研究報告．HCS,ヒューマンコミュニケーション基礎 104（7 44），pp7-12，Mar. 2005 [6] 山下隆義，井尻善久，木下航一，川出雅人，“ （第 5 回）シャッタチャンスを逃さない：顔の検 出・表情の認識技術（次世代デジタルカメラ・デジタルムービーを予測する）， ”映像情報メディ ア学会誌：映像情報メディア 62（5），pp708-713，May 2008 [7] 光戸利奈,橋本優花里,“表情認知のメカニズムとその障害について，”福山大学こころの健康相 談室紀要（4），83-88，2010 [8] 大薗博記，森本裕子，中嶋智史，小宮あすか，渡部幹，吉川左紀子，“表情と言語的情報が他者 の信頼性判断に及ぼす影響，”社会心理学研究 26（1），pp65-72，Aug．2010 [9] 峯本和沙，吉川左紀子， “表情画像に対する順応効果の検討，”映像情報メディア学会技術報告 3 3（46）,pp1-6, Oct. 2009 [10] 橋本卓弥，平松幸男，辻俊明，小林宏“ライフマスクを用いた顔ロボットによる動的表情表出，” 日本機械学会論文集．C 編 75(749)，pp113-121,2009 [11] Do Hyoung Kim, Sung Uk Jung, Kwang Ho An, hui Sung Lee, Myng Jin Chung,“De velopment of a Facial Expression Imitation System，”Intelligent Robots and Systems,2 006 IEEE/RSJ International Conference on, pp.3107-3112, Oct. 2006 [12] Wikipedia， “コンピュータグラフィックス，” http://ja.wikipedia.org/wiki/%E3%82%B3%E3% 83%B3%E3%83%94%E3%83%A5%E3%83%BC%E3%82%BF%E3%82%B0%E3%83%A9%E 3%83%95%E3%82%A3%E3%83%83%E3%82%AF%E3%82%B9 [13] トイ・ストーリーオフィシャルホームページ，http://www.disney.co.jp/toystory/ [14] ハリー・ポッターと死の秘宝， http://harrypotter.warnerbros.co.jp/hp7a/ [15] ファイナルファンタジー，SQUARE ENIX，http://jp.finalfantasyxiv.com/# [16] 安善女主,小沢慎治, “顔画像からの筋肉パラメータの推定とそれに基づく他人の表情生成，”電 子情報通信学会論文誌 D-II, Vol.J8-D-II, No.10, pp.2081-2088, 2005 [17] 岡田裕也，竹下直樹，秋田友洋，赤松茂，“3 次元モーフィングモデルの自動生成と顔の印象変 換への応用， ”日本顔学会誌，Vol.７，No.1，pp. 111-120，2007 [18] Takaaki Kuratate, Saeko Masuda, Eric Vatikiotis-Bateson ，"What perceptible informat ion can be implemented in talking head animations, ", IEEE International Worksop o n Robot and Human Interactive Communication 0-7803-7222-0/01, pp.430-435, IEEE , 2001 [19] 倉立尚明， “三次元顔形状データベースを用いた無表情顔形状からの表情変化推定，”情報処理学 会研究報告．グラフィックスと CAD 研究会報告 IPSJ SIG Notes 2004(16), pp13-18, Feb. 2004 [20] 池戸 恒雄， “コンピュータグラフィックス，”講義スライド Lec4，http://cis.k.hosei.ac.jp/~ike do/CGLect2010/graphics.html [21] Wikipedia，“Sketchpad，” http://ja.wikipedia.org/wiki/Sketchpad [22] Wikipedia， “グーローシェーディング，” http://ja.wikipedia.org/wiki/%E3%82%B0%E3%83% BC%E3%83%AD%E3%83%BC%E3%82%B7%E3%82%A7%E3%83%BC%E3%83%87%E3%8 2%A3%E3%83%B3%E3%82%B0 [23] Wikipedia， “フォンシェーディング，” http://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A 9%E3%83%B3%E3%82%B7%E3%82%A7%E3%83%BC%E3%83%87%E3%82%A3%E3%83% B3%E3%82%B0 [24] Wikipedia，“レイトレーシング，” http://ja.wikipedia.org/wiki/%E3%83%AC%E3%82%A4% E3%83%88%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%B3%E3%82%B0 [25] ぶたでもわかるシリーズ， “CG 編 09 レンダリング手法（2）レイトレーシング， ” http://ha7. seikyou.ne.jp/home/tonta/cg9.html [26] STUDY Maya（クリクリクラス）, http://blog.zaq.ne.jp/jeccg/ [27] http://www.atr-p.com/ [28] 心理学実験指導研究会編，実験とテスト＝心理学の基礎（解説編），培風館，1985