修士論文 Virtual Fitting Room に向けた実画像・深度画像を 用いた衣服

NAIST-IS-MT1151100
修士論文
Virtual Fitting Room に向けた実画像・深度画像を
用いた衣服の特性推定
松葉 有香
2013 年 2 月 7 日
奈良先端科学技術大学院大学
情報科学研究科 情報生命科学専攻
本論文は奈良先端科学技術大学院大学情報科学研究科に
修士 (工学) 授与の要件として提出した修士論文である。
松葉 有香
審査委員：
池田 和司 教授
（主指導教員）
横矢 直和 教授
（副指導教員）
船谷 浩之 特任助教
（副指導教員）
Virtual Fitting Room に向けた実画像・深度画像を
用いた衣服の特性推定∗
松葉 有香
内容梗概
Virtual Fitting Room (VFR) はコンピュータグラフィックスの技術を用いて仮
想的にファッションコーディネートを掲示するツールであり，オンラインショッピ
ングを利用する上で重要な役割を果たしている．個々人の消費者に対して VFR
をカスタマイズするためにはユーザの身体や衣服の情報を計測する必要がある
が，それらの計測には特殊で高価な機器やスタジオを必要とする．本研究では，
VFR への衣服情報の入力を容易に行えるようにすることを目的とし，比較的安
価な深度動画像センサーを利用して得た衣服の動作形状を用いて，動的な衣服の
アニメーションを作成する手法を提案する．この提案手法では，深度動画像から
抽出した実衣服のシルエットから検出された 5 つの特徴点の動作軌道と，実衣服
と同様の動作を与えた物理シミュレータ上の衣服モデルの動作軌道の 2 つの軌
道間の距離を焼きなまし法によって最小化することによって，厳密な物理的特性
の代わりに物理シミュレータ上で用いる衣服モデルのパラメータを推定する．こ
の手法でスカートとＴシャツを用いた実験を行った結果，現実に近い衣服のアニ
メーションを再現できることが示された．
キーワード
Virtual Fitting Room, 衣服, 深度動画像，アニメーション, 焼きなまし法
∗
奈良先端科学技術大学院大学 情報科学研究科 情報生命科学専攻 修士論文, NAIST-ISMT1151100, 2013 年 2 月 7 日.
i
Estimating the Clothes Characteristics with the
Image and Depth Sensors for Developing
Virtual Fitting Room∗
Yuka Matsuba
Abstract
A virtual fitting room (VFR) is a tool for seeing our fashion coordinates on
display using computer graphics techniques and may play an important role for eapparel shops. Although measuring users’ body or clothes information is needed
for customizing VFR for each users, it needs particular devices or expensive studios. We propose a method for making dynamic animations of clothes using a
motion data of clothes captured with inexpensive RGB-depth sensors. We estimate parameters of clothes models on a 3D physical simulator instead of strict
physical characteristics by minimizing the distances between real trajectories,
which is constructed with five points of real clothes and simulated trajectories,
which is made by a motion same as real clothes’ on a 3D physical simulator, using
a simulated annealing method. In our experiments, the method showed a good
reconstruction of animations of a skirt a T-shirt.
Keywords:
Virtual Fitting Room, clothes, depth image, animation, simulated annealing
∗
Master’s Thesis, Department of Bioinformatics and Genomics, Graduate School of Information Science, Nara Institute of Science and Technology, NAIST-IS-MT1151100, February 7,
2013.
ii
目次
1. 序論
1
1.1
背景と目的
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
関連研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2. 提案手法
2.1
2.2
6
実衣服の時系列形状取得 . . . . . . . . . . . . . . . . . . . . . . .
7
2.1.1
ハンガーの軌道取得 . . . . . . . . . . . . . . . . . . . . .
7
2.1.2
実衣服の軌道取得 . . . . . . . . . . . . . . . . . . . . . . .
7
パラメータ最適化 . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
2.2.1
パラメータ選択 . . . . . . . . . . . . . . . . . . . . . . . .
13
2.2.2
焼きなまし法による最適化 . . . . . . . . . . . . . . . . . .
14
3. 実験
16
3.1
中心点の精度評価実験 . . . . . . . . . . . . . . . . . . . . . . . .
16
3.2
本実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
3.2.1
各種パラメータ設定 . . . . . . . . . . . . . . . . . . . . .
17
3.2.2
結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
4. 考察
24
4.1
本実験結果からの考察 . . . . . . . . . . . . . . . . . . . . . . . .
24
4.2
アニメーションからの考察 . . . . . . . . . . . . . . . . . . . . . .
25
4.3
撮影時のオクルージョン問題
. . . . . . . . . . . . . . . . . . . .
26
特徴点決定の代替案 . . . . . . . . . . . . . . . . . . . . .
27
VFR 実現のための諸課題 . . . . . . . . . . . . . . . . . . . . . .
28
4.3.1
4.4
5. 結論
30
謝辞
31
参考文献
32
iii
付録
34
A. KES 法
34
B. KinectTM の詳細
35
B.1 仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
B.2 深度情報の取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
C. Harris コーナー検出
37
D. 実験結果詳細
38
iv
図目次
1
H&M のフィッティングルーム . . . . . . . . . . . . . . . . . . . .
2
2
デジタルファッション株式会社の HAOREBA . . . . . . . . . . . .
2
3
MIRALab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
4
TOP SHOP の Kinect Fitting Room . . . . . . . . . . . . . . . .
3
5
提案手法の概観 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
6
実衣服を吊るしたハンガーとマーカー
. . . . . . . . . . . . . . .
8
7
背景除去の失敗例 . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
8
撮影された深度画像
. . . . . . . . . . . . . . . . . . . . . . . . .
9
9
背景除去を行った衣服のシルエット画像 . . . . . . . . . . . . . .
9
10
Harris コーナー検出の結果 . . . . . . . . . . . . . . . . . . . . . .
10
11
四隅の特定
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
12
ダイクストラ法で求められた中心点 . . . . . . . . . . . . . . . . .
12
13
軌道誤差の可視化 . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
14
Cloth シミュレーションの UI . . . . . . . . . . . . . . . . . . . .
13
15
実験に使用した実衣服（スカート） . . . . . . . . . . . . . . . . .
16
16
実験に使用した実衣服（Ｔシャツ） . . . . . . . . . . . . . . . . .
17
17
実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
18
中心点の誤差（x，y ，z ） . . . . . . . . . . . . . . . . . . . . . .
20
19
焼きなまし法のクーリングスケジュール . . . . . . . . . . . . . .
20
20
最適化前後の 5 点距離比較（上：スカート，下：Ｔシャツ） . . .
21
21
最適化前後の 5 点距離と 4 点距離（上：スカート，下：Ｔシャツ） 22
22
最適化前アニメーション（スカート）
. . . . . . . . . . . . . . .
23
23
最適化後アニメーション（スカート）
. . . . . . . . . . . . . . .
23
24
型紙誤差との比較 . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
25
歩行アニメーション
. . . . . . . . . . . . . . . . . . . . . . . . .
25
26
シルクとデニムの違い 1 . . . . . . . . . . . . . . . . . . . . . . .
26
27
シルクとデニムの違い 2 . . . . . . . . . . . . . . . . . . . . . . .
27
28
四隅のオクルージョン問題 . . . . . . . . . . . . . . . . . . . . . .
28
v
29
KinectTM 仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
30
近赤外線のランダムドットパターン . . . . . . . . . . . . . . . . .
36
31
最適化前後の特徴点ごとの距離 . . . . . . . . . . . . . . . . . . .
38
表目次
1
Blender の Cloth シミュレーション . . . . . . . . . . . . . . . . .
14
2
焼きなまし法に用いる衣服パラメータの各種値 . . . . . . . . . . .
18
3
プリセットパラメータ . . . . . . . . . . . . . . . . . . . . . . . .
18
4
最大距離と平均距離
. . . . . . . . . . . . . . . . . . . . . . . . .
22
5
KES 風合い測定システムの測定項目 . . . . . . . . . . . . . . . .
34
vi
1. 序論
1.1 背景と目的
Virtual Fitting Room (VFR) は，コンピュータグラフィックスの技術を用いて
ディスプレイ上にファッションコーディネートを表示させることによって，オン
ラインショッピングにおける仮想的な試着を可能にした．元来，オンラインショッ
ピングを通して衣服を購入する際には，現実に衣服を試着することができないた
め，サイズ等の表記だけでは分からない着衣時の雰囲気など，試着によって得ら
れる重要な情報を取得することが不可能である．これにより，オンラインで衣服
を購入することに躊躇する人も少なくはない [1]．
そこで，VFR が開発された．例えば図 1 の H&M のサイトにおけるフィッティ
ングルーム [2] では，予め用意された複数のモデルから自由に選択し，様々な服
飾アイテムからコーディネートを作成し視覚的に確認することができる．デジタ
ルファッション株式会社 [3] では，特殊なスタジオを利用して全方位から着衣し
たモデルを撮影することによって蓄積された様々なコーディネートデータを利用
できる二次元仮想試着システム（図 2）を提供している．MIRALab [4] では，既
出の事例とは異なり 3 次元的に表示することができ，実衣服の 2D CAD データ
を人間モデルに巻きつけて衣服モデルを着衣させ，3 次元的に表示させるシステ
ム（図 3）を開発している．また，実店舗におけるデジタルサイネージの例とし
て，モスクワの TOP SHOP では，Xbox360 向けゲームデバイス KinectTM [5] を
用いた AR 試着室“ Kinect Fitting Room ”が導入されている [6]（図 4）.
これらの VFR は商品化されるなど様々にサービス展開されているが，しかし
現存のものにはいくらかの制限が残っている．まず，表示される衣服やモデルは
物理的特性が反映されていないことである．このため，人間の動作や体格を変更
することができず，モデルごとに撮影する必要がある．次に，そのサイトで売ら
れている商品しか提供されていないことである．サイト上の商品のみでコーディ
ネートを作成することは可能であるが，実際の着衣時には個人の所有物と合わせ
て利用するため，衣服購入の意思決定の際には，個人の所有物とのコーディネー
トも考慮する必要がある．そして最後に，衣服情報の取得には高価なスタジオが
1
図 1 H&M のフィッティングルーム
図 2 デジタルファッション株式会社の HAOREBA
2
図 3 MIRALab
図 4 TOP SHOP の Kinect Fitting Room
3
必要とされることである．そのため，一般家庭において消費者が自由に衣服情報
を計測し VFR に入力することは困難である．
このように現存の VFR はカスタマイズ性が低く，個々人の消費者に対してパー
ソナライズするには適していない．そこで本論文ではこれらのうち，VFR への
衣服情報の入力を容易に行えるようにすることを目的とし，比較的安価なデバイ
スを用いて衣服情報を計測し，動的な衣服のアニメーションを作成する手法を提
案する．動的な衣服アニメーションを作成するためには，一般には 1.2 節に述べ
るように衣服の物理的特性を推定する必要がある．
1.2 関連研究
一般に，衣服の物理的特性は引張りやせん断，曲げ，圧縮などの材料力学的性
質によって定まる．Kawabata Evaluation System (KES) は，布に対して引張り
などの物理的操作を直接与えることによって，布の変形を評価する標準的な計測
システムである [7]（付録 A）．しかし，このシステムを利用するためには，特殊
で高価な機器が必要である．一方，Bhat ら [8] はこのような特殊な機器を利用せ
ず，衣服の深度動画像から物理的特性の決定に必要なパラメータを推測する方法
を提案した．この方法では，まず現実の布資料にロボットアームを用いて動きを
与え，更に同じ動きをシミュレータ上の布にも与える．そして縞状の構造化照明
を照射することにより実布の深度動画像を取得し，シミュレーション上の深度動
画像との frame by frame ユークリッド距離を最適化アルゴリズムで最小化する
ことにより物理パラメータを推定，その結果を同様の布で作成したスカートの動
きの再現に用いている．Hasler ら [9] は衣服のシルエットを用いて同様のシステ
ムを提案している．このように，これらのアプローチでは布資料を用いて真の物
理的特性を求めているが，衣服と同様の布資料を準備する必要があるため，現実
的ではない．
この問題は衣服の物理的特性そのものの推定を目的としている点に起因する．
そこで我々は，目的を単純に 3D 物理シミュレータにおける衣服モデルのパラメー
タ推定と置き換え，それらのパラメータを用いて衣服モデルのアニメーションを
作成する．3D 物理シミュレータは与えられた物理モデルを基にコンピュータグ
4
ラフィックスを作成することができるため，我々はそのシミュレータ上に作る衣
服モデルに与えるパラメータを推定すればいい．
我々の手法では，実衣服の軌道とシミュレータ上の衣服モデルの軌道を比較す
ることによって，衣服モデルのパラメータを推定する．実衣服の軌道は，家庭で
も利用できる商用の深度動画像センサーである KinectTM [5] を用いて計測する
（付録 B）．
本論文は 4 つの章から構成される．まず，2 章において本研究の提案手法につ
いて述べ，次に 3 章においてその提案手法の有効性を実験により示す．そして最
後にまとめと今後の課題について 5 章で述べる．
5
2. 提案手法
我々の最終目的は実衣服の計測を基にして現実的な 3D CG アニメーションを
作成することである．そのために，実衣服とシミュレータ上の衣服モデルに対し，
同じ動きを与えたときの両者の動作軌道の誤差を最小化することによって，シミュ
レータ上の衣服モデルのパラメータを推定する手法を提案する（図 5）．ここで
軌道とは，5 つの特徴点の三次元位置をフレームごとに測定した時系列データを
表しており，これら 5 つの軌道から衣服の形状を推測している．
提案手法は大きく分けて「実衣服の時系列形状取得」と「パラメータ最適化」
に分けることができる．これらについてはそれぞれ 2.1 節と 2.2 節で述べる．
図 5 提案手法の概観
6
2.1 実衣服の時系列形状取得
我々の手法の特徴のひとつとして挙げられるのが，衣服に与える力が既知であ
る必要がないという点である．本手法では衣服を吊るしたハンガーを動かすこと
により衣服に動作を与えているため，このハンガーの軌道から力を計測すること
ができる．従って，特殊な装置を利用せずとも人の手で動かすことができるため，
任意の動作を入力することができる．よってこの節では，ハンガーの軌道取得方
法と，そのハンガー軌道から生成された実衣服の軌道取得方法をそれぞれ 2.1.1
項と 2.1.2 項で述べる．
2.1.1 ハンガーの軌道取得
ハンガーには図 6 のように 2 個のマーカーを付けており，深度動画像センサー
を用いることで容易に軌道を計測することが可能である．ここで黄色と緑色のラ
インはハンガーの垂直位置を表しており，これを基に衣服の存在する領域を限定
している．マーカー選出のために複数種類試したが，カラーマーカーだと光の影
響で色が多少変化してしまうため，検出成功率が環境によって異なり，また環境
によって閾値の変更が必要になるため不適切と判断した．そこで，今回は白黒の
シンプルなマーカーを利用し，環境光による影響を最小限に留めた．この検出に
は，第一フレーム目においてマーカーの中心をクリックする必要がある．そして，
第二フレーム以降は OpenCV の関数 ”calcOpticalFlowPyrLK” を用いて追跡を
行っている．ここでは Lucas-Kanade 法 [10] を反復実行することによって，疎
な特徴集合に対するオプティカルフローを求めている．ここで左右対称に 2 個の
マーカーを付けているため，2 点の位置からハンガーの回転角度を得ることが出
来る．そのため，人間の手で動かすことによって生じる傾きにも対応することが
出来る．
2.1.2 実衣服の軌道取得
実衣服の計測は，ハンガーと異なり衣服ごとに形状も異なるため，マーカーレ
スで行うことが望ましい．以降，本論文では対象とする衣服の種類を図 6 のよう
7
図 6 実衣服を吊るしたハンガーとマーカー
にスカートとＴシャツに限定して考える．
我々は衣服のシルエットを取得するために，カラー動画像ではなく深度動画像
を用いた．何故ならば，デニムスカートのように柄がなく表面からの特徴点検出
が困難な衣服も存在するため，衣服そのものが持つテクスチャの柄を特徴点とし
て用いることは困難だからである．そこで我々は，テクスチャを用いず深度情報
から得られる実衣服の形状から特徴点を取得する手法を提案する．
衣服のシルエットを切り出す際，単純に深度情報を用いるだけでは 図 7 のよう
に衣服と同時にハンガーや手のシルエットも切り出してしまう．図 8 は KinectTM
によって撮影された深度画像であり，色の濃さによって深度の違いが表されている
が，ハンガー位置と衣服の位置が同色であることから深度が同じだと分かる．そ
こでハンガーの垂直位置情報を用い，それ以下の領域のみを指定することによっ
て衣服のみを切り出した（図 9）．
実衣服の形状は，実衣服の四隅と中心点の計 5 点の軌道から再現する．中心点
は衣服の曲面を表現するために加えたものである．
四隅の検出には Harris のコーナー検出を利用した [11]（付録 C）．図 10 はそ
の結果であり，緑色の点が検出された特徴点である．この検出数は手動で設定可
能であるが，フレームによってはエッジ付近のノイズにより四隅以外の方がコー
8
図 8 撮影された深度画像
図 7 背景除去の失敗例
図 9 背景除去を行った衣服のシルエット画像
9
図 10 Harris コーナー検出の結果
ナーが強くでてしまうため，検出数を 4 よりも多くした上で x − y 座標によって
コーナーのみを特定する．図 11 に見られるように，スカートの場合は元のシル
エット画像を右に 45◦ 回転した上で，x 座標と y 座標の最小値，最大値を用い
ることによって特定可能である．Ｔシャツの場合は，袖部分だけは回転前のシル
エット画像を用い，下部の二隅を特定する場合のみに 45◦ 回転画像を適用する．
中心点は，実衣服の三次元ポイントクラウドを考えた際，四隅から各点への最
短距離を計算した時に，その合計が最大になる点，つまり四隅から最遠の点とし
て定義する．ここで，距離は衣服の曲面に沿った測地線の長さで表している．中
心点を P5 ，四隅を P1 ∼ P4 ，点 AB 間の距離を g(A, B) とすると，中心点は
(
P5 = arg max
n∈G
4
∑
)
g(Pi , n)
(1)
i=1
と表せる．なお，G は 3 次元グラフの頂点集合を表しており，n は頂点である．
最短距離と経路の導出にはダイクストラ法を用いた．これは Plageman ら [12] が
身体の深度情報から手足や頭部などの末端部分を識別するためにダイクストラ法
を用いたことを参考にしている．手順は次の通りである．
1. ポイントクラウドから 3 次元グラフ（表面メッシュ）を構築する
• 衣服領域に存在する点の座標を実世界座標に変換し，頂点として追加
10
図 11 四隅の特定
11
• 頂点の周辺 8 方向にエッジを加える（ただし存在する場合のみ）
2. 既に求められた四隅それぞれに最も近い頂点を探索する
3. 四隅それぞれの点の間に距離が 0 のエッジを加える
4. 四隅のうちいずれか 1 点を始点とし，すべての点に対する最短距離をダイ
クストラ法により求める
5. 求められた最短距離のうち，距離が最長になる点を中心点とする
このようにして導きだした中心点の結果を図 12 に示す．
以上の手順で得られた実衣服の軌道を Blender 上で図 13 のように球で表し，
衣服モデルに重ねて表示させることで軌道の誤差を可視化した．
図 12 ダイクストラ法で求められた中心点
2.2 パラメータ最適化
ここでは 2.1 節に述べた手順で取得した実衣服の軌道とシミュレータ上の衣服
モデルとの軌道を比較する．3D 物理シミュレータには Blender [13] を用いた．
12
図 13 軌道誤差の可視化
図 14 Cloth シミュレーションの UI
2.2.1 パラメータ選択
Blender は Cloth シミュレーション機能（図 14）が備わっており，6 種類の
パラメータ，Mass，Structural，Bending，Spring，Air，Velocity を調整するこ
とによって様々な布の質感を表現することができる．これらパラメータを Θ =
{θ1 , θ2 , θ3 , θ4 , θ5 , θ6 } で表す．なお，パラメータ各々の詳細は表 1 に記載している．
13
種類
詳細
Mass
布素材の質量
Structural 布全体の硬さ，伸びにくさの度合。
Bending
Spring
曲がりにくさの度合。数値が高いほど大きなひだができる。
布の変形を吸収する度合。
数値が高いほど滑らかであまり揺れなくなる。
Air
空気による動きの抑制度合。
数値が高いほど物が落下する速度を和らげる。
Velocity
布のふらつきを回避するための係数
表 1 Blender の Cloth シミュレーション
2.2.2 焼きなまし法による最適化
次にパラメータ Θ を実衣服と衣服モデルの軌道が一致するように調整する．こ
こで，2 つの軌道間での距離をユークリッド距離として次のように定義する．
D(R, S) ≡
N
M
1 ∑
1 ∑
||rin − sin ||2 .
N n=1 M i=1
(2)
rin と sin はそれぞれ実衣服，衣服モデルの n フレーム目における i 番目の特徴
点の位置座標を表している．関数 D は非凸関数であるため，単純な最急降下法
ではなく焼きなまし法を用いてこの距離を最小化する．焼きなまし法とは，1983
年に Kirkpatric らによって提案された最適化問題の近似解法であり，パラメータ
を温度に応じて狭まってゆく範囲内でランダムに摂動させ，その結果に応じて確
率的にパラメータを更新させていく手法である [14]．この摂動の受理確率も温度
に依存している．
i 番目のパラメータ θi の摂動幅 vi はコーシー分布を用い，
{ (
1
vi = θsi tan π p1 −
2
)}
· µTtσ ,
(3)
で定義した．θsi はパラメータ θi の摂動幅の基準値である．p1 は 0 から 1 の間の
14
乱数であり，µ と σ はゲイン係数である．ループ回数 t 回目における温度 Tt は，
Tt =
Tt−1
,
(1 + βt)α
(4)
であり，T0 が初期値，α と β はゲイン係数である．
摂動が受理される確率は，次で表される距離の変化に依存している．
change = D(R, S(Θt )) − D(R, S(Θt + v))
(5)
Θt は t 回目におけるパラメータベクトルであり，v は (3) 式で生成された 6 つの
摂動幅で構成されるベクトルである．パラメータベクトルは次の受理基準に従っ
て更新される．
A = min(1, exp{(change · γ)/Tt })

 Θt+1 = Θt + v

Θt+1 = Θt
(p2 ≤ A)
(6)
(7)
(otherwise)
ここで p2 は 0 から 1 の間の乱数であり，γ は change の大きさを調整するため
の係数である．D(R, S(Θ)) の変化量 change は極めて微小な数値であるため，γ
を導入し，受理確率が極端に上がってしまうことを防いだ．
15
3. 実験
我々の提案手法の有効性を確認するために，二種類の実験を行った．1 つ目の
実験では，予備実験として中心点の推定精度の正確さを評価し，2 つ目の実験で
は，本実験として我々の提案手法を用いて衣服モデルのパラメータを推定したと
きの推定誤差を評価した．なお実験に使用した実衣服の寸法等詳細は図 15 ，図
16 に記載する．これらを図 6 のように実衣服を吊るしたハンガーを持ち，角度
が床と水平になるように高さ 0.70 m の位置に固定された KinectTM の前方 1.80
m の地点に直立する（図 17）．この際，KinectTM の撮影範囲のうち，実衣服の
振幅領域（KinectTM から約 0.80 ∼ 1.80 m）内に障害物が入らないように注意す
る．この位置は KinectTM センサーの認識可能範囲が 0.80 ∼ 4.00 m であること
と，ハンガーに取り付けたマーカーの認識具合を考慮して設定した．なお，実衣
服を振る時間は 5 ∼ 10 秒程度である．
図 15 実験に使用した実衣服（スカート）
3.1 中心点の精度評価実験
ダイクストラ法で導き出した中心点の推定精度を評価するために，実衣服を用
いて測定した実際の中心点部分にマーカーを取り付けてマーカートラッキングを
行った時の軌道と，提案手法で得られた軌道の誤差を (2) 式を用いて計算した．
16
図 16 実験に使用した実衣服（Ｔシャツ）
今回の実験では図 15 に示すスカートを使用した．図 18 はその結果であり，縦軸
がそれぞれ x，y ，z 軸の座標，横軸がフレーム数を示している．なお，Blender
の座標に合わせるために撮影した深度動画像の縦（y 軸）を z 軸，横を x 軸，深
度方向（z 軸）を y 軸に変換している．計算された全フレームでの平均誤差は
1.888786 cm であり，これは実衣服の幅（図 15 より 44.1 cm）の 4.30 % にあたる．
3.2 本実験
3.2.1 各種パラメータ設定
実験に必要な各種パラメータは次のように設定した．
まず 6 種の衣服モデルのパラメータそれぞれについて，初期値，最小値，最大
値，摂動の基準値を表 2 のように設定した．これらは，予め Blender に記憶され
ていたシルクやコットンなどのプリセットパラメータ（表 3）を参考にした．
次に焼きなまし法を用いる際のクーリングスケジュールを組む．温度の初期値
T0 や最大ループ回数をそれぞれ 1000，350 に設定した上で，パラメータの摂動
可能範囲内を十分に探索できるように図 19 のようななだらかな冷却条件を設定
した．この時の温度の減少パラメータ (α, β) は，(0.003, 1.0) に設定した．
17
種類
初期値
最小値
最大値
摂動基準値
Mass
1.0
0.15
10.0
0.5
Structural
30.0
5.0
80.0
15.0
Bending
20.0
0.1
150.0
10.0
Spring
3.0
0.0
25.0
4.0
Air
5.0
1.0
10.0
5.0
Velocity
0.95
0.9
1.0
0.01
表 2 焼きなまし法に用いる衣服パラメータの各種値
種類
シルク
コットン
レザー
ゴム
Mass
0.15
0.3
0.4
3.0
Structural
5.0
15.0
80.0
15.0
Bending
0.05
0.5
150.0
25.0
Spring
0.0
5.0
25.0
25.0
Air
1.0
1.0
1.0
1.0
Velocity
1.0
1.0
1.0
1.0
表 3 プリセットパラメータ
18
図 17 実験環境
3.2.2 結果
本実験では，図 15 のスカートと図 16 Ｔシャツの 2 種類の衣服を使用した．ス
カートは約 15 fps でフレーム数 175，Ｔシャツは約 15 fps でフレーム数 95，つ
まりそれぞれ約 12 秒間 と 6 秒間 KinectTM で撮影した深度動画像を利用した．
図 20 は各フレームごとにすべての特徴点 M = 5 として（2）式で導き出され
た距離を棒グラフにして示したもので，上段がスカート，下段がＴシャツであり，
A が最適化前（初期値），B が最適化後（推定値）である．同様にして図 21 は
中心点を除く M = 4 としたとき（青）と M = 5 としたとき（赤）を折れ線グラ
フで比較したものである．なおこれに関しては，見やすくするために図 20 との
スケールは異なっている．そして，全フレーム中での最大距離と 5 点すべての全
フレーム平均距離，中心点を除く 4 点の全フレーム平均距離，中心点の全フレー
ム平均距離，そして実衣服の平均振幅に対する割合をそれぞれ算出したものを表
4 に示す．ここでＴシャツに関しては最適化前後でスカートほどの大きな変化は
19
図 18 中心点の誤差（x，y ，z ）
図 19 焼きなまし法のクーリングスケジュール
20
図 20 最適化前後の 5 点距離比較（上：スカート，下：Ｔシャツ）
ないが，それは初期値が目標値により近いものだったためと考えられる．このう
ち，スカートの結果を Blender 上のアニメーションで比較したものを図 22 （最
適化前），図 23 （最適化後）に示す．これらは 150 フレーム目から 3 フレーム
ずつ，174 フレーム目まで動かしたものを並べており，最適化後の方がより実衣
服の軌道に追従していることが見て取れる．
21
図 21 最適化前後の 5 点距離と 4 点距離（上：スカート，下：Ｔシャツ）
スカート
Ｔシャツ
最大距離
100/振幅
平均距離 (m)
(m)
(%)
5点
4点
中心点
5点
4点
中心点
A
22.90
31.47
12.76
12.57
13.54
17.53
17.27
18.60
B
8.07
11.09
4.67
4.63
4.86
6.42
6.36
6.68
A
14.15
35.2
8.61
9.29
5.89
21.4
23.1
14.6
B
11.54
28.7
5.84
5.85
5.79
14.5
14.5
14.4
表 4 最大距離と平均距離
22
100/振幅 (%)
図 22 最適化前アニメーション（スカート）
図 23 最適化後アニメーション（スカート）
23
4. 考察
4.1 本実験結果からの考察
3.1 節で中心点の軌道が実衣服の幅の約 4.3 % の精度で取得できていることを
示したが，この中心点のアニメーション作成における有用性を調べるために，表
4 では中心点を含む 5 点と中心点を除く 4 点，中心点のみ 1 点で結果を示した．
最適化前の 5 点距離は中心点の影響で 4 点距離よりも大きくなっていると考え
られ，中心点の距離を縮めることによって，より良い推定ができているのではな
いかと考えられる．これは，スカートの最適化前後における特徴点ごとの詳細を
記載した付録 D からも言えることであり，ハンガーから遠い特徴点ほど距離の
変化が大きいことが分かる．つまり，左下と右下の底辺層，中心層，左上と右上
の上部層の順に動作形状の決定への影響度が高いと言える．
また，本実験では衣服モデルを手動で作成しているため，実衣服と完全には一
致していない．そのため，静止時であっても実衣服と衣服モデルの間で型紙レベ
ルの誤差が生じている．この誤差を型紙誤差とし，最適化後のパラメータを用い
たときの型紙誤差（青点線）と最適化前後の全フレーム平均誤差を図 24 のよう
に比較した．左がスカート，右がＴシャツである．スカートに関しては型紙誤差
を考慮することで，最適化の妥当性が見られるが，Ｔシャツに関しては型紙誤差
も大きく，改善の余地が見られる．
Ｔシャツにおいて最適化の結果が芳しくない理由の一つとして，上部層の特徴
点が袖である点が考えられる．袖は直接ハンガーと繋がっている部分ではないた
め，スカートの上部層よりも不安定である．また，ハンガーを実衣服の内部に通
すなど外部との接地も多く，シミュレータ上でのモデリングも比較的複雑である．
この点においては，ハンガーと衣服間の摩擦係数が未知であることが問題である
と考える．以上のことより，Ｔシャツに関しては特徴点の設定位置と共に，揺動
手段を再考する，または，ハンガーと衣服間の摩擦係数も衣服モデルのパラメー
タと共に推定する必要がある．
24
図 24 型紙誤差との比較
図 25 歩行アニメーション
4.2 アニメーションからの考察
このうち，スカートの最適化結果を利用して，人間モデルに着衣させた上で
歩行アニメーション（図 25）を作成した．なお，ここで使用した人間モデルは
MAKEHUMAN [16] を用いて作成した．
今回計測したデニムスカートの特徴を確認するため，シルクのパラメータ（表
3）を用いて作成したアニメーションと提案手法により推定したデニムスカートの
パラメータを用いて作成したアニメーションを比較する．なお，ここでは違いを
明確にするため，実衣服より長めのスカートに同様のパラメータを入力している．
図 26 は 2 つの同じ人間モデルに対してスカートを着衣させ，自由落下させた
25
アニメーション中の同フレームを切り出したものである．左のシルクが身体のラ
インに沿うように曲がっているのに対し，右のデニムは布の硬くて曲がりにくい
特性を生かし，スカートの形状を保っていることが見て取れる．
図 27 も同様に着衣させ，図 25 と同様の歩行運動をさせたアニメーション中
の同フレームを切り出したものである．両者の左足にかかっているスカートの裾
に注目すると，左のシルクは伸びているのに対し，右のデニムは伸びずに上部に
捲れあがっていることが見て取れる．
以上のことより，衣服モデルのパラメータ推定結果は妥当であると考えられる．
図 26 シルクとデニムの違い 1
4.3 撮影時のオクルージョン問題
本論文の提案手法では，衣服の特徴点位置を四隅と中心の 5 点に指定している
ため，衣服モデル上でも同じ点を探索する必要があるため，図 28 のように柔ら
かく曲がりやすい衣服など，撮影時の動作途中に四隅が隠れてしまう場合には推
26
図 27 シルクとデニムの違い 2
定を行うことが出来ないのが現状である．つまり，オクルージョン問題を解決す
るためには，特徴点を特定の点に固定しない方法を考える必要がある．
4.3.1 特徴点決定の代替案
代替案として，衣服領域すべての深度情報を利用することを考える．本論文の
提案手法では，簡略化するために特徴点を 5 点に絞り，部位も固定していたが，
固い素材では推定が行える一方，他の素材では不十分であることから応用力に欠
けることが分かった．そこで，正面のセンサーから見える表面の点すべてを利用
し，点の位置ではなく表面形状の比較を検討する．
この方法では，背景除去された実衣服の範囲内にあるすべての点について実世
界での座標を取得し，同様にして衣服モデルの正面片面にあるすべての点につい
て座標を取得する．比較対象は各点の深度情報である．実衣服画像のある点に対
して，深度を無視した x，y 座標が最も近い点を衣服モデルから探し，両点の深
27
図 28 四隅のオクルージョン問題
度値の差を距離とする．これをすべての点に対して行い，その距離の総和を点の
数で割った平均値を最小化するように衣服モデルのパラメータの推定を行う．
この手法における問題点は，衣服モデルの点に比べて実衣服画像の点はより密
になっているため，衣服モデルよりも実衣服の画像上に存在する点の数が多いこ
とである．つまり，すべての点に対して比較を行うことは難しいため，比較対象
の点をいくらか選出する必要がある．また，比較する点の数が多くなるため，計
算時間が増えるという問題もある．これらの問題に関しては，今後検討が必要で
ある．
4.4 VFR 実現のための諸課題
本論文では衣服に特化して述べたが，身体情報の入力，着衣したままでの測定
など，VFR の実現にはまだ課題が残っている．
身体情報については，センサーを用いることによって各部位の長さを測定する
ことは可能であり，MAKEHUMAN と連携できれば容易にモデルを作ることが
できると考えられる．このように作成した消費者自身の身体モデルを VFR 上で
利用することによって，消費者に最適な衣服のサイズを探すことも可能になると
28
考えられる．
着衣したままでの測定は未だ検討中であるが，消費者の身体情報が既知であれ
ば，衣服形状の推定は可能であると考えられる．しかしこの際，ハンガーで揺動
するよりも左右の回転が不安定であり，センサーに映る領域が必ずしも常に同じ
とは限らない．そこで，360 度全方位にマーカーを付けたベルトを利用すること
によって，位置の同定を行えるのではないかと考えている．
これらの課題以外にも，VFR に備える機能としては，消費者の嗜好情報を用
いた衣服の推薦システムなどの拡張要素も考えられるが，今後 VFR を開発して
いく中で，消費者の需要を調査することも必要である．
29
5. 結論
本論文では，動的な衣服モデルの 3D CG アニメーションを作成するための，
衣服モデルのパラメータ推定手法を提案した．この手法では，元来より行われて
いた物理特性そのものを求めるという方法を取らず，3D 物理シミュレーター上
での衣服モデルのパラメータを推定することによって，布資料や特殊な装置など
を用いずに実衣服の動きを模倣したアニメーションを作成できることを示した．
これにより，既存の VFR では実装されていなかった消費者個人での自由な衣服
情報入力がより実現可能なものへと近づいた．
今後の課題としては，4.3 節で述べたオクルージョン問題の解決やその他の形
状の衣服への拡張を行うために，特徴点決定の方法を再検討すると共に，本論文
では取り扱わなかった身体情報の取得についても検討し，個々人に合わせてカス
タマイズできる VFR の実現を目指したい．
30
謝辞
本研究を進めるに当たり，多くの皆様にご協力戴きました．ここに，深謝の意
を表します．
本研究の機会を与えて下さり，常に熱心な御教示・御教鞭を賜りました池田和
司教授に心より感謝致します．
本研究を進めるに当たり，要所要所で多大な御指導・御助言を戴きました船谷
浩之特任助教に心より感謝致します．
研究活動において多くの御指導・御助言を戴きました，柴田智広准教授，渡辺
一帆助授，久保孝富助教，爲井智也特任助教，竹之内高志元助教，作村諭一元特
任准教授に心より感謝致します．
本研究を進めるに当たり，数々の有益な御討論・御助言を戴きました，大韓民
国，慶北大学校の Minho Lee 教授，Mallipeddi Rammohan 研究員，Jehan Jung
さん，Artificial Brain Laboratory の諸氏に心より感謝致します．
本学での研究発表において，数々の御指導・御助言を戴きました副指導教員の
横矢直和教授に心より感謝致します．
本研究を進めるに当たり，数々の御指導・御助言を戴くとともに研究に関して
様々な相談に乗って下さった中村彰宏さんに心より感謝致します．
研究活動における出張等の事務的な手続きを始めとして，日頃の生活において
も様々な助力を戴きました数理情報学研究室の秘書である谷本史さん，足立敏美
さんに心より感謝致します．
最後に，日頃から数多くの御討論・御協力を頂き，二年間に渡って支援して下
さった数理情報学研究室の諸氏に心より感謝致します．
31
参考文献
[1] Brian Beck. “Key Strategic Issues in Online Apparel Retailing, yourfit.com,”
Version 1.0, 2000.
[2] H&M: http://www.hm.com/
[3] digital fashion ltd: http://www.digitalfashion.jp/
[4] D. Protopsaltou, et al. “A Body and Garment Creation Method for an Internet Based Virtual Fitting Room,” Proc. International Conference on Computer Graphics, pp.105–122, 2002.
[5] Microsoft KinectTM : http://www.xbox.com/ja-JP/kinect
[6] Top Shop: http://www.topshop.com/
[7] S. Kawabata, “The Standardization and Analysis of Hand Evaluation,” The
Textile Machinery Society of Japan, 1980.
[8] K S. Bhat, et al. “Estimating Cloth Simulation Parameters from Video,”
SIGGRAPH Eurographics Symposium on Computer Animation. pp.37–51,
2003.
[9] N. Hasler, et al. “Physically Based Tracking of Cloth,” In Proceedings of
VMV 2006, Aachen, Germany, pp.49–56, 2006.
[10] B. Lucas and T. Kanade. “An Iterative Image Registration Technique with
an Application in Stereo Vision,” The 7th International Joint Conference on
Artificial Intelligence, pp.674–679, 1981.
[11] C. Harris and M. Stephens, “A Combined Corner and Edge Detector,” In
Proceedings of Fourth Alvey Vision Conference, pp.147–151, 1988.
[12] C. Plagemann, et al. “Real-time Identification and Localization of Body
Parts from Depth Images,” In Proceedings of ICRA, Alaska, USA, 2010.
32
[13] Blender: http://blender.org
[14] S. Kirkpatrick, C.D. Gelatt and M.P. Vecchi, “Optimization by Simulated
Annealing,” Science, New Series, vol.220, no.4598(May), pp.671–680, 1983.
[15] X. Hu Liu and Y. Wen Wu, “A 3D Display System for Cloth Online Virtual
Fitting Room,” Proc. World Congress on Computer Science and Information
Engineering, vol.7, pp.14–18, 2009.
[16] MAKEHUMAN: http://www.makehuman.org/
[17] H. Moravec, “Obstacle Avoidance and Navigation in the Real World by a
Seeing Robot Rover,” Tech Report CMU-RI-TR-3, Carnegie-Mellon University, Robotics Institute, 1980.
33
付録
A. KES 法
KES 法（Kawabata Evaluation System for fabric）は布の物理的特性を様々な
基本変形において見られる性質の組み合わせによって定量化したものである．彼
らは物理的特性をコントロールすることによって布の風合いをコントロールする
ために，布の物理的特性と風合いの相互関係を調査した．その中で測定すべき性
質と測定条件は次のように決定されている（表 5）．
特性ブロック
引張り
曲げ
記号
LT
引張り荷重 − 伸びひずみ曲線の直線性
WT
引張り仕事量
RT
引張りレジリエンス
B
2HB
G
せん断
圧縮
表面
厚さ・質量
特性値
曲げ剛性
ヒステリシス幅
せん断剛性
2HG
せん断角 0.5 % におけるヒステリシス幅
2HG5
せん断角 5 % におけるヒステリシス幅
LC
圧縮荷重 − 圧縮ひずみ曲線の直線性
WG
圧縮仕事量
RG
圧縮レジリエンス
MIU
平均摩擦係数
MMD
摩擦係数の平均偏差
SMD
表面粗さ
T
圧力 0.5 gf/cm2 における厚さ
W
単位面積当たりの質量
表 5 KES 風合い測定システムの測定項目
34
B. KinectTM の詳細
B.1 仕様
KinectTM は深度画像，RGB 画像，音声，加速度を一度に取得可能な低価格高
機能センサデバイスであり，その性能に対して低価格で販売されたことから市場
を席巻した．なお，本研究ではソフトウェアとして Microsoft が提供する Kinect
SDK を用いた．
1. Depth Sensor（近赤外線プロジェクター）
• 近赤外線を広範囲にレーザー照射
• レーザー波長 830 nm，出力 60 mW
2. RGB Camera（RGB カメラ）
• 映像センサーの役割
• 32-bit Color VGA (640 × 480) 30 fps
3. Depth Sensor（近赤外線カメラ）
• 照射されたレーザーの近赤外線パターンを撮影するカメラ
• 16-bit Mono QVGA (320 × 240)
• 2 m の位置で 1 cm 以内の誤差
• 視野角水平 57 度，垂直 43 度
4. Multi-Array Mincrophone（内蔵マイク）
• 音声認識，音源の位置や方向を検知
• 左に 1 つ，右に 3 つの計 4 個
35
図 29 KinectTM 仕様
B.2 深度情報の取得
KinectTM は B.1 で紹介した近赤外線プロジェクターと近赤外線カメラを用い
て深度情報を取得している．プロジェクターから図 30 のような近赤外線のランダ
ムドットパターンを前方に照射し，それを近赤外線カメラで撮影することによっ
て，対象の形状変化をそのパターン変化から計測している．
図 30 近赤外線のランダムドットパターン
36
C. Harris コーナー検出
この検出アルゴリズムは，Moravec [17] のコーナー検出器を Harris らが改良
したものであり，入力画像上の座標 (x, y) の周辺について微分値を調べ，特定方
向に大きい場合はエッジ，多方向に大きい場合はコーナーと考える．座標 (x, y)
の特徴量 Rxy は次のように計算される．まずガウシアンによって画像の平滑化を
行い，行列 M (x, y)

M (x, y) = W (x, y) 
(Ix (x, y))2
Ix (x, y)Iy (x, y)
Iy (x, y)Ix (x, y)
(Iy (x, y))
2


=
A C


(8)
C B
を算出する．ここで W (x, y) は指定された矩形領域内では 1 ，それ以外では 0
となる正方形窓であり，Ix ，Iy は，輝度 I の勾配である．
次に，次のような特徴量を計算する．画像中のコーナーはこの値が大きいもの
から割り当てられる．
R(x, y) = Det(M (x, y)) − kT r(M (x, y))2
(9)
なお，T r(M (x, y))，Det(M (x, y)) は次の通りである．
T r(M (x, y)) = α + β = A + B
(10)
Det(M (x, y)) = αβ = AB − C 2
(11)
37
D. 実験結果詳細
以下にスカートの特徴点ごとの距離を表したグラフを示す．青が最適化前，赤
が最適化後である．これを見ると，ハンガーから遠いほど最適化の精度への寄与
率が大きいことが読み取れる．
図 31 最適化前後の特徴点ごとの距離
38