日本のセルアニメーションにおける振り向き動作時の顔描画の分析

情報処理学会第 75 回全国大会
3ZC-1
日本のセルアニメーションにおける振り向き動作時の顔描画の分析
真野航
†
齋藤豪
††
† 東京工業大学 工学部 †† 東京工業大学大学院 情報理工学研究科 表 1: 特徴点を打つ顔の要素と顔の分類
顔の分類
右 (左) 目
鼻
口
右 (左) 耳
特徴点を打つ顔の要素
右 (左) 眉
右 (左) 目
鼻
口
顎
右 (左) 耳
特徴点の個数
3点
4点
3点
4点
1点
3点
はじめに
手描きのセルアニメーションにおいて、キャラクタ
は現実の人間とは異なった描画をされる。人間が手で
描いたキャラクタは 3DCG モデルを投影した場合とは
異なり剛体であると仮定するとフレームごとに歪みが
ある。また、キャラクタの動作の描画の際には単純に
現実の動きが描かれるわけではなく、動作の強調や簡
略化が行われるために、キャラクタは現実ではありえ
ない動作や変化をする場合もある。特に日本のセルア
ニメーションでは、1 秒間あたりに使用するフレーム
数が少ないためにその傾向は顕著である。しかし、そ
れらのキャラクタの変形や非現実的な動きはアニメー
ションとしてみたときに視聴者に違和感を与えない場
合が多い [1]。本研究では、日本のセルアニメーション
のキャラクタの振り向き動作時の顔描画に着目する。
振り向き動作時にキャラクタの顔の目や鼻、口といっ
た要素に特徴点をとり、要素内や要素間の特徴点の距
離や位置関係の変化を測定することによって振り向き
動作がどのように描画されているのかを分析し、セル
アニメーション特有の変化について考察を行う。
1
2 分析
2.1 データの収集
キャラクタは振り向き動作中に、横方向だけでなく
上下方向の動きも行っている場合がある。本研究では
振り向き動作中の横方向の動きに着目するため、動作
中に上下に激しく動いているものを分析の対象から
除外した。また、顔がある程度の大きさで描かれてお
り、後述する特徴点がはっきりと見えるものを対象と
した。本研究では 2010 年∼2012 年に放映されたセル
アニメーションからそれらを満たす 300 の振り向き動
作を収集した。各振り向き動作には 5∼6 枚程度の画
像が使われていた。
人間の顔の分析手法の一つに特徴点を用いるもの [2]
がある。本研究においてもキャラクタの顔の分析に特
徴点を用いる。表 1 のように特徴点を計 28 点とる (図
1)。また、顔を 6 つの要素に分割しそれぞれの名前で
呼ぶこととする。
キャラクタの顔への特徴点の打ち込みは手作業で行
う。この際、動画を読み込み、フレームごとに表示し
特徴点を打ち込み、座標を保存する専用プログラムを
作成し利用した。
2.2 特徴点の軌跡と分析手法
アニメーションを手で描く場合、動作の強調や簡略
化が許されるとはいえ、動作の最中にキャラクタの鼻
†
††
Analysis of Face Drawing at Turning in Japanese
Hand-Drawn Animation
Wataru Mano
Suguru Saito
Faculty of Engineering,Tokyo Institute of Technology (†)
Graduate School of Information Science & Engineering,Tokyo
Institute of Technology (††)
W8-70 2-12-1 Oookayama Meguro Tokyo 152-8552
4-269
2011 年に放送されたアニメーション “C” より
図 1: 特徴点を打つ位置の例
の位置や全体の大きさが変化しないように注意しなけ
ればならない。動作の最中に 1 枚でもバランスの違う
画が入ると動きは滑らかではなくなる。デッサン狂い
を防ぐために動きの軌跡を先に描いておき、それに合
わせて中間の顔の画を描く場合がある [4] ように、キャ
ラクタの運動と軌跡は密接な関係にある。そこで特徴
点の軌跡からキャラクタの振り向き動作を分析する。
特徴点を打つ際には、キャラクタの目と耳を右目と
左目、右耳と左耳と左右で分類していたが、分析の際
には、これらを画面への距離で定義しなおす。画面に
より近い方の目、耳を前目、前耳、画面により遠い方
の目、耳を奥目、奥耳と定義する。
1 つの顔の要素に含まれる特徴点から任意の 3 点を
選び、その 3 点を頂点とする三角形を考える。この三角
形はキャラクタの運動とともに変形していく (図 2(b))。
この三角形の変形は平面上での変形であるため 2 次元
のアフィン変換で表すことができる。移動前の三角形の
頂点となった特徴点の各座標を (xi , yi ) (i = 0, 1, 2)、移
動後の対応する特徴点の各座標を (x0i , yi0 ) (i = 0, 1, 2)
とし、移動前の三角形の重心の座標を (xc , yc ) とする
と、この三角形の変形は 2 次元のアフィン変換行列を
用いて
!
!
!
x0i − xc
a b c
xi − xc
yi0 − yc
d e f
yi − yc
=
1
0 0 1
1
(i = 0, 1, 2)
ただし (a, b, c, d, e, f ∈ R)
と表せる。この変換行列の a から f の 6 つの要素を
3 つの特徴点間の関係を表す特徴ベクトルの要素とす
る。先に述べたように 1 つの振り向きシーン内で 5∼6
フレーム程度画像は変化するのでそれらの全ての隣接
フレームより得られるアフィン変換行列の要素から 3
点の関係を表す 24∼30 次元程度の特徴ベクトルが得
られる。この特徴ベクトルを元に K-means 法によっ
て分類する。計算に必要なクラスタの平均は各特徴ベ
クトルごとの平均値を、平均との距離は特徴ベクトル
ごとに平均との差の２乗和を用いて求める。特徴点に
よっては振り向きシーンの間に見えなくなるものも存
在するが、その場合はその特徴ベクトルの要素は無視
して計算している。なお、本研究では K-means 法に
おけるクラスタ数は 6 とする。これは 6 つに分割した
顔の要素ごとに特徴点が分類されると考えたためであ
る。K-means 法で分類後、顔の一要素内の特徴点 3 点
の組が各クラスタに何組含まれるかを調べる。
また、セルアニメーションと実際の振り向き動作を
比べるために 3DCG モデルに振り向き運動をさせ、同
Copyright 2013 Information Processing Society of Japan.
All Rights Reserved.
情報処理学会第 75 回全国大会
(a)
(b)
図 2: (a) 振り向き動作前の画像と振り向き動作にお
ける特徴点の移動の軌跡。 (b) 振り向き動作における
特徴点 3 点で囲まれた三角形の変形。 (a)(b) ともに
2011 年に放送されたアニメーション “シュタインズ・
ゲート” より。
(b)
(a)[5]
図 3: (b)3DCG モデル及び振り向き動作時の軌跡。
表 2: 図 2(b) の振り向き運動の分類結果
クラスタ番号
0
1
2
3
4
5
様に特徴点をとり軌跡を求め、分類する。
分析結果と考察
人間は顔を、顔の要素や要素間の関係によって認識
しているが、顔全体をひとかたまりとしても認識して
いる [3]。セルアニメーションのキャラクタの描画にお
いては、逆に顔の認知方法を利用していると我々は考
える。本研究ではキャラクタの顔の要素の軌跡の違い
に着目して分析する。
顔の要素ごとの動きを考えるため、以降は同一の顔
の要素に含まれる特徴点 3 点の組を考える。表 2 は
顔の要素とクラスタの分類を表にしたものである。こ
の表において列は、特徴点の組のうち 3 点全てが各
列の顔の要素に含まれている組の個数を示している。
奥目、前目には特徴点が 7 点ずつ存在するためそこ
から 3 点を選んだ組は 35、口には 5 点存在するので
同様に組は 10、鼻と奥耳、前耳には 3 点の特徴点が
あるので 1 組存在することとなる。まず顔の要素ご
とにどれだけの精度でクラスタに分類されたかを調
べる。ここで、振り向きシーンの総数を n とし、あ
る振り向きシーン i (i = 0, 1, · · · , n − 1) においてクラ
スタ j (j = 0, 1, · · · , 5) に分類された特徴点の組の中
で、その組を構成する 3 点全ての特徴点が顔の要素
k (k = 奥目, 前目, · · · , 前耳) に含まれている組の個数
を Fi (j, k) で表すとする。また振り向きシーン i にお
いて、Ci = arg max Fi (j, k) となるクラスタ Ci を顔
3
j
の要素 k の代表クラスタとする。
n−1 5
1 X X Fi (Ci , k)
P5
6n i=0
j=0 Fi (j, k)
(1)
k=0
この式で顔の一つの要素の中の特徴点 3 点のみで構成
される組がどの程度その代表クラスタに分類されたか
を計算する。その結果、奥目の特徴点の組は 84.4%、前
目の組は 87.2%、口の組は 82.1%が同じクラスタに分
類されていた。次にクラスタごとにどれだけの精度で顔
の要素を分類したかを調べる。変数は上と同じものを用
い、振り向きシーンにおいて、Ei = arg max Fi (j, k)
奥目
1
0
0
0
34
0
前目
32
0
0
0
3
0
鼻
1
0
0
0
0
0
口
0
0
6
0
4
0
奥耳
0
1
0
0
0
0
前耳
0
1
0
0
0
0
表 3: 図 3(b) の振り向き運動の分類結果
クラスタ番号
0
1
2
3
4
5
奥目
0
13
0
22
0
0
前目
0
0
0
35
0
0
鼻
0
0
0
1
0
0
口
0
0
0
10
0
0
奥耳
0
1
0
0
0
0
前耳
0
0
0
1
0
0
行ったのと同様にして分類した。表 3 はその一例であ
る。前目の特徴点の組は全てクラスタ 3 に分類されて
いるが同じクラスタに鼻や口、前耳の全ての組と奥目
の大部分の組が分類されている。奥目の組はクラスタ
3 の他にもクラスタ 1 にも分類されているがこのクラ
スタには奥耳の組も分類されている。こちらにも式 1
を適用した結果、奥目の特徴点の組は 83.6%、前目の
組は 97.1%、口の組は 85%が同じクラスタに分類され
た。また、式 2 を適用した結果、15.8%の代表顔要素
以外の 1 つの顔の要素からなる特徴点の組が分類され
ていた。セルアニメーション、3DCG モデル両者とも
に前目の特徴点の組が奥目の組に比べてより同じクラ
スタに分類された。これは奥目が振り向き動作によっ
て見切れることがあるため、その前後では動きが変化
するためではないかと考えられる。
まとめ
本稿では、アニメーションの描画における顔の特徴
点の軌跡には実際の三次元の顔を撮影した際の特徴点
の軌跡とは異なった傾向があるのではないかという仮
説を立て、フレーム間の特徴点のアフィン変換行列を
クラスタリングすることによってその検証を行った。
その結果セルアニメーションと 3DCG モデルの振り
向き運動には若干の違いが見られた。今後、仮説の検
証を更なる分類法の検討を加えることによって行って
いきたい。
4
k
となる顔の要素 Ei をクラスタ j の代表顔要素とする。
なお、各顔の要素は個数に差があるため、各クラスタ
に分類された割合をもとに計算するため Fi (j, k) の代
F (j,k)
わりに Gi (j, k) = P5 i F (j,k) を用いる。
n−1 5
1 XX
6n i=0 j=0
P
k=0
5
k=0
i
Gi (j, k) − Gi (j, Ei )
P5
k=0 Gi (j, k)
(2)
この式で一つのクラスタに代表顔要素以外の顔の要素
がどの程度そのクラスタに分類されたかを計算する。
その結果、13.4%の代表顔要素以外の一つの顔の要素
からなる特徴点の組が分類されていた。
比較のために人間の顔の 3D モデルに 4 種類の振り
向き運動をさせ、特徴点をとり (図 3(b))、フレーム
間での特徴点 3 点の組の移動をセルアニメーションで
4-270
参考文献
[1] アニメ 6 人の会. アニメーションの本 : 動く絵を描く基
礎知識と作画の実際. 合同出版, 2010.
[2] Y. Wang, C.S. Chua, and Y.K. Ho. Facial feature
detection and face recognition from 2D and 3D images. Pattern Recognition Letters, Vol. 23, No. 10,
pp. 1191–1202, 2002.
[3] D.Y. Tsao and M.S. Livingstone. Mechanisms of face
perception. Annual review of neuroscience, Vol. 31,
p. 411, 2008.
[4] 尾澤直志, ワークスコーポレーション. アニメ作画のし
くみ. ワークスコーポレーション, 2006.
[5] http://www.ir-ltd.net/infinite-3d-head-scanreleased.
Copyright 2013 Information Processing Society of Japan.
All Rights Reserved.