エンターテイメントにおける フェイシャルキャプチャ技術の活用

エンターテイメントにおける
フェイシャルキャプチャ技術の活用
ゼロシーセブン株式会社 渡邊英樹
■フェイシャルキャプチャの利点と課題
フェイシャルキャプチャとは？
現実の人物の表情変化を記録するデジタル技術。これまでモーションキャ
プチャと同じく光学式による記録が主流となっていた
!
利点：
デジタルによるキャプチャで顔の立体情報を正確に記録できる
デジタル処理により作業コストを大幅に削減可能
!
課題：
キャプチャ撮影の準備・セットアップが大変
高額な設備が必要なためコストが高い
後行程での修正が難しい
ビデオベース・フェイシャルキャプチャの登場
■光学式とビデオベース
光学式
精度
ビデオベース
・平面のビデオから情報をとるため、立体
・マーカーの位置情報を正確にとることがで
情報が乏しい。
き、立体情報をとれるのが優位点
・口鼻目眉などの各部の動きの情報は安定
・口鼻目眉などの各部の動きの情報は安定
・目線の追跡も可能
運用性
・多くの位置情報を扱うためデータの適用す
るための技術的なノウハウが高く求められる
・後行程での調整が難しい
・撮影時の環境設定・準備がデリケート
・撮影・セットアップが容易
・データのCGモデルへの流し込みが簡潔
・省スペースで撮影が可能
・リアルタイムプレビューにも対応
コスト
・専用のスタジオが必要
・設備（カメラ）が高額
・安価
■Dynamixyz Performerの特長
★ヘッドマウントカメラを用いたマーカーレスフェイシャルキャプチャー
!
★ビデオベースならではの目線の追跡
!
★120FPSでの撮影
!
★容易に作成できるトラッキングプロファイル
!
★ハイクオリティなリターゲティングプラグイン
!
★FBX、C3D、RTGなどを用いた他アプリケーションへのエクスポート
!
■ワークフロー
※ワークフロー図は基本のフローを簡略化したものです。データの流れなどに若干の違いがございます。
撮影
アウトプット
HMC
Grabber
構成：ヘルメット、ウェイトバ
ランサー、120FPSカメラ１点、
ヘッドマウント式照明（LES）、
ホストコンピュータに接続する
USBケーブル
RAWビデオを録画可能な、信
頼のあるコマンドライン実行プ
ログラム。HMC（ワイヤード
／ワイヤレス）からはもちろん
のこと、録画済みのビデオから
の入力が可能です。
Real Time
!
Production
Quality
Real-Time
Option Plugin
Video Sequence
解析
アニメーション
Point Based
Retargeting
Analyzer
任意のビデオフレームで特徴点を割り当て
るアノテーションを行い、プロファイルを
作成し、解析・追跡（トラッキング）を行
います。
Export
Example- Based
Retargeting
Plugin
■Dynamixyz Performerの利点
独自のリターゲッティング形式（RTGファイル）によるスムーズなCGソ
フトとの連携と安定したアウトプット。RTGではブレンドシェイプやジョ
イントリグへトラッキングデータを流し込むことができる。
Point：トラッキングプロファイルとCGモデルのリンク
トラッキングプロファイル：
アクターのさまざまな表情をおさめた動画から
作成されるトラッキング用ファイル。実シーン
の解析はこのトラッキングプロファイルに含ま
れる特徴点情報をもとに実行される。さらにCG
モデルにトラッキングデータを流し込む際に、
トラッキングプロファイルにあるサムネルの表
情のときに、CGモデルがどういう表情をとる
かを定義することで、キャラクターを表情をコ
ントロールする
■Dynamixyz導入のメリット
・ワークフローへのスムーズな組み込み
RTGを用いることで既存のリグやワークフローを崩すことなくフェイシャ
ルキャプチャを導入できる
!
・生産性の向上
時間的コスト、制作コストを削減可能
!
・新たなコンテンツ制作の可能性
イベント会場や番組などでリアルタイムにキャラクターを演技させるな
どCGキャラクターの活用の場を確保
!
■慣性式モーションキャプチャMVN
・マーカーを一切必要としないモーションキャ
プチャシステム
!
・スーツおよびストラップスーツに装着した17
個の慣性センサー（ジャイロ／加速度／地磁
気）により全身の動きをキャプチャ
!
・専用のスタジオを必要とせず、屋外／屋内
を問わずどこでも収録が可能
!
・センサー式のため衣装を着た状態でもモー
ションキャプチャが行え
・ロストマーカーの心配もないため、収録デー
タのポスト処理が不要
!
・リアルタイムストリーミングが可能
慣性式モーションキャプチャシステムMVN事例紹介
■セミナーのご案内
■MVNセミナー
日程：2014年4月23日（水）
時間： 16:00∼18:00
対象：エンターテインメント（映画・ゲー
ム・遊技機などCGアニメーション制作全般）
用途
【会場】
ゼロシーセブン株式会社 ８F スタジオ
【お申し込み方法】
代表者氏名、会社名、参加人数、ご希望日4/
23を添えて、 [email protected] までご
連絡ください。
定員となり次第閉め切らせていただきます。