Comments
Description
Transcript
映像からのモデル獲得による未観測運動推定 - 美濃研究室
修士論文 映像からのモデル獲得による未観測運動推定 指導教員 美濃 導彦 教授 京都大学大学院情報学研究科 修士課程知能情報学専攻 岡田 尚基 平成 年 月 日 映像からのモデル獲得による未観測運動推定 岡田 尚基 内容梗概 映像中で対象となる物体を追跡するトラッキングはコンピュータビジョンに おける重要な問題の一つである．トラッキングの用途には様々なものがあるが， 近年は映像制作において，撮影された映像中の物体の動き等に応じた仮想映像 を重畳する処理などにも用いられるようになっている． 従来，トラッキングでは対象物体の位置もしくは姿勢を推定する際に，少な くともそれぞれに対する２次元の見え方特徴が映像から抽出可能であることを 前提としていた．しかし，実際には隠れなどのためにそれが映像に現れなくな ることが多い．またスポーツ映像等ではしばしばボールがトラッキングの対象 となるが，ボールは通常無地の球形をしているため，姿勢変化である回転を直 接反映する特徴が映像中に現れない．しかし，このような場合でも対象の位置 や姿勢を推定できると，それを基にした映像制作が可能になる． 物体の運動は各時刻におけるその位置や姿勢等が変化していく現象である． 物体の位置と姿勢は互いに独立な自由度を持つ物理量であるが，運動において は，これらは物理的な運動法則に従って互いに影響を及ぼし合っている．した がってその関係を利用すれば，ある時刻の位置や姿勢から異なる時刻の位置や 姿勢を推定したり，位置の変化から姿勢を推定したりといったことができると 考えられる．本稿では運動法則による位置や姿勢の時間変化の仕方を記述した 運動モデルを用い，映像中で観測可能な運動の特徴から映像に現れない物体の 位置や姿勢を推定することを目指す． ここで同じ運動法則が働いていても，位置や姿勢の変化は質量や重力加速度 といった物体や環境に固有の運動特性により異なったものになる．したがって 上のようなモデルを導入する際には対象物体やそれを取り巻く環境の数だけ異 なったモデルを用意しなければならない．そこで本稿ではこのような運動特性 も併せて映像から推定することで上述のモデルを獲得する．モデル獲得による 物体の位置，姿勢の推定はモデルのシミュレートする運動と映像中に現れる運 動の特徴との差を目的関数とした最適化問題として解くことができる． 本稿ではボールを対象物体として取り上げ，映像からモデルを獲得し，その モデルを用いて運動の推定を行う．ボールはその形状が球形であるため回転の 特徴が映像中で観測できないが，他物体との接触や揚力の発生によって位置変 化へ影響を与えるため，これをモデル化することにより，ボールの位置から回 転が推定できる． 本稿ではまずシミュレーション実験によって未観測運動が推定できること，そ してその推定が実用的な映像のフレーム数及びフレームレートで行えることを 確認した．次に実映像でも数種類のボールの運動を推定し，シミュレーション 実験と比べ観測誤差やモデル誤差のために最適化後の目的関数の最小値が大き くなるものの，映像制作に用いるには十分な未観測運動の推定結果を得た． ! " #$%! ! " &"! '! ( " ( ! ) " " * ! ! " ! " " " " + " "! + " $ ,! + " - " " " ! " $ " . / ,! " ) " " 0 " / , " $ , ! 映像からのモデル獲得による未観測運動推定 目次 章 第章 第 第 第 運動のモデル化 12 運動と運動モデル 11 ボールの運動 14 ボールの運動モデル 章 3 3 映像からの軌跡の観測 41 運動の再現性評価のための目的関数 44 目的関数の最適化によるモデル獲得と運動推定 章 51 章 シミュレーション実験 26 17 17 未観測回転推定 521 モデル獲得と観測量 実映像実験 参考文献 23 522 謝辞 25 実験 結論 22 運動モデルを用いた映像からの運動推定 42 52 第 緒論 18 48 第 章 緒論 映像中で対象となる物体を追跡する処理はトラッキングと呼ばれ，コンピュー タビジョンにおける重要な問題の一つである．トラッキングは道路画像処理の 際の道路や車両，交通標識等の追跡，人物・顔画像処理の際の顔や手，人体等 の追跡，映像インデキシング処理における登場人物やスポーツ選手・ボール等 の追跡など，様々な用途に利用可能であり，研究が盛んに行われている 92:91:94:． 特に近年は映像制作の重要性の増加と共に，映像の視覚効果として撮影映像中 に仮想映像を重畳する処理を実現する際にもトラッキングが利用されている． 映像制作では従来から，視覚効果の一つとして撮影映像の上にテロップ等の 仮想映像を重畳することが行われていた．このようなテロップの位置は映像の 内容によらず一定であるが，近年はより訴求力の強い視覚効果を実現するため に，撮影映像中の対象物体の動き等に応じて重畳する仮想映像の内容や位置を 変えるような手法も用いられるようになっている．このような場合には映像中 の対象物体の動きをトラッキングする必要がある．このとき対象の映像中での 1 次元の動きを追跡するのか，シーン中での 4 次元の動きを復元するのかによっ てトラッキングは大きく 1 種類に分類できる． 一般に物体の動きは，各時刻における物体の位置や姿勢を定めることで記述 できる．トラッキングのうち，各時刻における対象物体の映像中での見かけの 位置・姿勢を追跡する処理は 1 次元トラッキングと呼ばれる．映像制作の場合， 重畳対象の画像上での 1 次元の動きに応じて仮想映像を重畳する際に 1 次元ト ラッキングが必要となる．このような映像制作は映像中の特定の物体に矢印等 を重畳して視聴者の注意を向ける場合等によく用いられる．これを行うために は，異なるフレーム間において，同一の対象物体を対応づける必要があるが，対 象物体はシーン中での動きに応じて見え方が変化することから，1 次元トラッキ ングでは，この見え方の変化に左右されずに同一の対象物体の領域を各フレー ム中から抽出することが求められる．このための方法として従来研究では，映 像の各フレーム中での対象物体のエッジや色などの類似性に基づいて対象物体 領域を抽出することが行われている．このとき，対象物体の見え方の変化に対 する頑健性を向上させるために，フレーム間での動きの一貫性等の制約を用い るというアプローチも提案されている．例えば ; ら 92: はウェーブレット 特徴量に基づいて対象物体をトラッキングする際に，安定した画像特徴が得ら 2 れる領域にオンライン ' アルゴリズムを用いて重み付けを行うことで，対象 物体の見え方がフレーム間で滑らかに変化する状況でトラッキングを継続でき る手法を提案している． 1 次元トラッキングが映像中での対象物体の 1 次元の位置・姿勢を追跡するの に対し，映像から対象物体のシーン中での 4 次元の位置・姿勢を復元する処理は 4 次元トラッキングと呼ばれる．4 次元トラッキングは，映像中の特定の物体の 表面に仮想的なテクスチャを表示したり，対象物体自体を仮想物体で置き換え たりする場合などに必要となる．例えばアメリカンフットボール中継で攻撃開 始位置から 27 ヤードのラインを地面に表示したり，野球中継で無地の壁に広告 を表示するような場合がこの具体例として挙げられる 95:93:．また映画において 俳優の体の一部に仮想映像による視覚効果を施す場合もこれに相当する．一般 にカメラに対する対象物体の各時刻での 4 次元位置・姿勢はカメラワークと物 体そのものの動きという二つの要因により変化する．先述のアメリカンフット ボール中継や野球中継の例のように対象が静止物体でありカメラワークのみで 位置や姿勢が変化する場合には，予め撮影時のカメラパラメータをセンサによ り取得できれば十分であるが，対象物体が動く場合には，対象物体にセンサを 付けておかない限り，映像から対象の 4 次元位置・姿勢を復元する 4 次元トラッ キングと呼ばれる処理が必要となる．このためには，4 次元の位置・姿勢を 1 次 元の見え方に基づいて復元するための対象物体に関する何らかの知識が必要と なる．従来手法では，対象物体の 4 次元形状を既知として，対象物体の形状モ デルと映像とのマッチングによって対象物体の位置・姿勢を復元するというア プローチが採られている 91:94:．例えば ら 94: は対象物体の < モ デルを用い，その投影像と映像中の物体とのエッジをマッチングさせることで 4 次元の位置・姿勢を復元している．この研究では < モデル投影像のエッジ上 に複数のサンプル点をとり，その点から引いたエッジの垂線上で輝度が不連続 となる最も近い点を対応するエッジと定義しその距離を最小 1 乗法により最小 化している．このとき各サンプル点の重みをエッジ強度や近傍に存在するエッ ジの個数に応じて変更することで部分的な隠れ等に対する頑健性を高めている． このようなトラッキング手法では，対象物体の位置もしくは姿勢を推定する 際に，少なくともそれぞれに対する 1 次元の見え方特徴が映像から抽出可能で あることを前提としている．すなわち，物体の 1 次元または 4 次元の位置を推 定する際には，その位置を直接反映した映像中での物体位置が映像から抽出可 1 能であり，物体の 1 次元または 4 次元の姿勢を推定する際には，その姿勢の変 化を直接反映した映像中でのシルエットやエッジ位置が映像から抽出可能であ ることが前提となっている．これに対して実際には，物体が隠れなどのために 映像中に現れなくなる状況は頻繁に生じる．またスポーツ映像等ではしばしば ボールがトラッキングの対象となるが，ボールは通常無地の球形をしているた め，その姿勢を直接反映する特徴が映像中に現れない．しかし，このように対 象物体の位置や姿勢を直接反映する特徴が映像中に存在しない場合でも，対象 物体の位置や姿勢を推定することができれば，物体が他の物体により隠蔽され 映像上に現れなくなった状態で，その物体の位置を表示したり（図 2），ボール の回転と連動する形で <= によるテクスチャを表示したりするような，従来と は異なる仮想映像の重畳方法に基づく映像制作が実現できる． 図 2> オクルージョン部分への位置の表示 物体の位置と姿勢は，互いに独立な自由度を持った物理量であるが，共に一 つの物体が行っている運動に伴って変化するものであり，かつその運動は物理 的な運動法則に従っていることから，本来独立であるはずの物体の位置と姿勢， および異なる時刻間での位置同士，姿勢同士の間には，何らかの関係が存在す るはずである．したがってその関係を利用すれば，ある時刻での位置や姿勢か ら異なる時刻での位置や姿勢を求めたり，位置変化から回転の仕方を推定した りすることも可能であると考えられる．そこで本研究ではこのような運動法則 を用いることによって，映像中にそれを直接反映する特徴量が現れていないよ うな物体の位置あるいは姿勢を推定することを試みる． このためには，物体の位置と姿勢，あるいは異なる時刻間での位置同士，姿 勢同士の間の関係を記述する何らかのモデルが必要である．本稿ではこのよう 4 なモデルを，物体の運動モデルと呼ぶ．この運動モデルとして，等速直線運動 や等加速度運動による物体の位置変化を記述し，物体が映像中で他の物体に隠 されたときに，このモデルを用いてその位置を推定することはこれまでにも行 われてきた 98:96:9?:．例えば，石井ら 9?: は 1 台のカメラを用いてサッカー映像 におけるボールの 4 次元位置の追跡を行う際に，ボールの運動として水平方向 には等速直線運動，垂直方向には等加速度運動を仮定し，ボールに隠れが発生 した場合にもその位置を推定する手法を提案している． しかし，上記のような研究では，運動モデルが物体の位置変化のみを記述す るものであるため，位置変化を基に物体の姿勢を推定することはできず，前述 したボールの例のように，物体の姿勢を直接反映した特徴量が得られない状況 への対応は考えられていない．これに対して本研究では，物体の位置と姿勢の 両方に跨る運動法則を導入することにより，この問題を解決する． ところで，物体の運動において，運動法則の種類は同じであっても，その位 置や姿勢は，質量や重力加速度，反発係数といった物体やそれを取り巻く環境 に依存して決まる運動特性によって変化する．したがって，このような物体・ 環境に固有の運動特性を適切に設定しなければ，運動モデルを用いて物体の位 置や姿勢を正しく推定することはできない．そこで本研究ではこの運動特性を 物体位置のトラッキング結果に基づいて獲得する． 以上のような手法について議論するために，本稿では，無地のボールを対象 物体として取り上げる．これはボールが球であるため，その回転を直接反映し た特徴量を映像から抽出することが難しい一方，スポーツ映像においては追跡 対象として非常に重要となるためである． 第 1 章では，まず本稿で用いるボールの運動のモデル化を行う．次に第 4 章 では，映像から運動のモデルを獲得する手法について説明する．続いて第 5 章 ではモデル獲得の手法をシミュレーション実験によって評価すると共に，実映 像を用いた場合でも妥当な結果が得られることを確認する．最後に第 3 章でま とめと今後の課題について述べる． 5 第章 運動のモデル化 運動と運動モデル 物体の運動は各時刻におけるその位置や姿勢，速度や回転等の物理量が変化 していく現象である．物体の運動と共に時間変化するこのような物理量を本稿 では @運動状態A と呼ぶことにする．運動状態は慣性の法則，運動方程式，作用・ 反作用の法則等によってその時間変化の仕方が決まる．このときの運動状態の 時間変化の仕方を決める法則をここでは @運動法則A と呼ぶ．どのような物体の どのような環境における運動を対象とするかによって支配的な運動法則は変化 する．このため物体がバネであれば復元力に関する運動法則を，環境が水中で あれば浮力という運動法則を考える必要がある． 運動法則と運動状態との関係は時間変化しない物理量により変化する．落下 時の重力加速度や衝突時の反発係数等がそれである．この物体や環境に固有の 時間変化しない物理量のことをここでは @運動特性A と呼ぶ． このような運動状態，運動法則，運動特性の関係は次式のように表現できる． ¼ B C D C2D この式は，ある時刻における物体の運動がいくつかの運動法則 配されているときの現在の運動状態を とすると， は て働くことにより，時刻 経過後に運動状態 ¼ によって支 が運動特性 に応じ へと変化することを示す．この ように物体の運動は運動法則と運動特性が決まれば一意に定まる． 以上を踏まえ，本稿では運動法則，運動特性の二つを運動モデルとして記述 する（図 1）．運動モデル は運動特性 をパラメータとして持ち，ある時刻 における運動状態 を初期条件として与えることで任意の時刻 における運動 状態 ¼ を計算し，物体の運動をシミュレートするものである． ボールの運動 第 2 章で述べたように，本稿ではボールを対象物体として取り上げる．スポー ツで用いられるボールには縫い目などのために表面に凹凸が存在することがあ るが，その凹凸が運動に与える影響は無視できると考えて，本稿ではボールを 球体として近似する．また，ボールの材質も一様であると仮定する．このとき その形状及び材質から，ボール表面はどこであっても周囲と同様の影響を及ぼ 3 㐠ືࣔࢹࣝ 㐠ືἲ๎ 㐠ື≉ᛶ t Ѧ ึᮇ㐠ື≧ែ 㐠ື≧ែ ͐ 図 1> 運動モデル し合い，姿勢の違いは運動の違いとして現れない．ただし，ボール表面の位置 に依存はしなくてもその変化は周囲と相互に影響を与え合うため，姿勢の変化 である回転の違いは運動の違いとして現れる．そこでボールの重心及びその速 度に加え，回転を表すボールの角速度を運動状態として考える．ボールは空中 を移動した後，やがて他の物体に衝突し，跳ね返ってまた空中を移動するといっ たように，空中での運動と他物体との衝突を繰り返すものとしてこれをモデル で記述する． このうち空中でのボールの運動において最も支配的となる運動法則は重力で あり，その大きさは質量と重力加速度を運動特性として変化する．さらにスポー ツにおけるボールの飛翔原理を解析するため空気から受ける空力特性が風洞実 験で盛んに計測されている（9E:927:）ことからも分かるように，空力も無視でき ない．空力としては抗力と揚力があり，前者は空気抵抗により発生し，後者は ボールの回転により発生する．ボールは空気抵抗による抗力を受けるため重力 を受け続けても最終的には抗力とのつり合いで一定の速度になる．また，回転 をかけたボールは揚力を受けるために空中で曲がる変化球となる．特にボール が軽い場合や速度が大きい場合，飛行距離が長い場合などは空力の影響は大き くなると考えられる．このような抗力・揚力は空気密度等が運動特性となって その働きを特徴付ける． 一方，他物体との衝突時のボールの運動においては衝撃力によって運動状態 が変化する．衝突はその瞬間の運動状態に着目したモデル化（922:921:）と衝突 前後の運動状態の変化に着目したモデル化（924:925:923:）がある．前者が衝突 を有限の時間幅を持つ現象と捉え衝突中のボールの変形と力の関係を調べよう としているのに対し，後者は衝突を瞬間的なものとみなして現象を簡略化し大 局的な運動の変化を調べようとしている．本稿ではボールの衝突のみに焦点を 8 当てているのではなく，空中における運動まで含めると衝突している時間は無 視できると考えられることから，後者の視点に立ち衝突前後の運動状態の変化 をモデル化する．同様にボールの運動全体を考えたとき，衝突時の変形による 位置変化は微小であるとみなせるために，物体は剛体と仮定する．また，衝突 は固定物体との衝突のみを考えることにする．衝突による運動状態の変化は運 動特性である反発係数により特徴付けられる． 以上のように，ボールの運動はそれが空中にあるときと他の物体に衝突する ときとで働く運動法則の種類が異なる．そこで以降ではこの二つの場合を分け， それぞれについてボールの運動を詳細に記述していく． 空中における運動 以降ではボールの質量を 9:，半径を 9: とし，その運動状態である位置 を 9:，速度を 9F:，角速度を 9F: とする．運動状態はそれぞれ 4 次元 ベクトルであり，回転を表す角速度 はその大きさが回転量，向きが回転軸を 表しており，物体を回転方向に回したときに右ねじが進む方向を向いている．ま た， 平面を水平面， 軸が鉛直上向きの座標系を想定している． 重力を ，抗力を ，揚力を としてまず各々の力を記述し，その後そ れらを運動方程式でまとめ空中における運動を記述する（図 4）． FL ṙ FD ω FG 図 4> 空中でボールに働く力 重力 は重力加速度を 9F : とすると鉛直上向きの単位ベクトル を用 いて以下のように表される． B C1D 抵抗には物体の速度に比例する粘性抵抗と速度の 1 乗に比例する慣性抵抗が 6 ある．前者は流体の粘性による摩擦によって起こる抵抗であり，後者は物体前 後の流体の圧力差によって起こる抵抗である．空気は粘性が低く，ボールの落 下のような大きな速度においては慣性抵抗が支配的になる．このため空気抵抗 による抗力 は物体の速度の 1 乗に比例するものとする．また は進行方向 に対する投影面積及び空気密度 9F : に比例する．さらに物体表面の粗さ等 によっても変化するためその違いを抗力係数 によって表現する． B 2 1 G G C4D ボールが空気中を回転しながら飛んでいくとき，その速度方向と回転軸方向 に直交する方向に揚力が働く．これはボール表面と周囲の空気との速度差によっ て空気に圧力差が生じるためであり，' 効果と呼ばれている（図 5）．こ FL ᅽຊ ప ω ✵Ẽࡢὶࢀ 図 5> ṙ ᅽຊ 㧗 ' 効果による揚力の発生 の揚力も一般的には抗力と同様の形式で表現されるが，ボールの場合は回転を 含めたより詳細な定式化がなされている．0 の定理から，揚力 は以 下のように表される． B 5 4 G C5D しかし，0 の定理は粘性の全くない理想流体を仮定しており，さらに抗 力同様物体表面の粗さなどによっても揚力の働き方は変化するためにその大き さは一定ではない．これを表すために本稿では ' 係数 を導入し，揚 力 を以下のように表すことにする． B 5 4 ? G C3D 厳密には抗力や揚力に関する係数の大きさは速度や角速度に依存して非線形 に変化するが，映像上では違いが出ない程度の変化と考え，本稿では非線形を考 慮しなければならないほどボールの速度や角速度に変化はないものと仮定する． また，空気との摩擦による空中での回転の減衰は衝突による回転の変化に比べ 微小であるためこれを無視し，空中における角速度の変化はないものとする． 空中における運動では以上の重力 ，抗力 ，揚力 による力が運動法 則として働くものとし，これらを運度方程式でまとめ運動状態の変化を以下の ように表現する． H B I B I 2 1 G G I 5 4 G C8D 衝突における運動 衝突直前の速度，角速度，及び衝突直後の速度，角速度をそれぞれ G ， ，G ， ¼ としてその変化をモデル化する．ボールは剛体球であるため，他物体との衝 ¼ 突は 2 点で起こる．その点における被衝突物体表面の単位法線ベクトルを と し，以下では添え字 ， によってそれぞれの記号が被衝突物体表面に対する法 線方向成分と接線方向成分を表していることを示す． 衝突による反発を表した最も簡単なモデルは，完全弾性衝突を仮定したモデ ルである．これは衝突前後でエネルギーが保存されることを仮定しているが，一 般的に衝突によってエネルギーは失われる．このエネルギー損失を表現するた めに，衝突前後の物体表面の法線方向の速度比を表した反発係数 を導入する． G ¼ B G C6D これは物体表面に対し法線方向の運動にのみ適用できるモデルであり，速度 が接線方向成分を持つ場合やボール自体が回転している場合は考慮されていな い．このような場合ボールと物体表面の間に摩擦などの力が働き衝突前後で速 度成分や回転が変化する．この変化を表現するために衝突前後の の 比を表した物体表面の接線方向の反発係数 を導入する． G B ¼ G C?D ただし とはボールと物体表面との接線方向の相対速度のことであり G B G I E CED と表される． ここで は単なるエネルギー損失だけでなく衝突がどのように起きたのかと いうことまで示している．衝突時のボールの振る舞いは三つの場合に分けられ る．すなわち，物体表面との滑り摩擦により が減少していきそのま まその物体表面から離れる場合， に対して転がった状態で離れる場合， が減少した結果 7 になり物体表面 が 7 になった後ボール自身の 変形などによりエネルギーが蓄積され物体表面から離れた後に解放されたエネ ルギーで B 7， 7 の方向が反転する場合であり，これらはそれぞれ の場合に相当する（ 2 2 ， 7 ）． 衝突時に衝突物体から加わる法線方向の力積を ，接線方向の力積を と する（図 3）と衝突前後のボールの運動方程式は以下のようになる． G C C G ¼ ¼ G D B C27D G D B ¼ C D B ここで はボールの慣性モーメント C B の係数で，中身の詰まった球の ωt Fn n D ṙt Ft ṙn 図 3> 衝突時にボールに働く力 場合 B 13 ，球殻の場合 B 14 より G ¼ G I B ¼ B 2 G I 2 I である．この式と反発係数の式（6）， （?） I 2 I 2 I 2I C I 2D として衝突による運動状態変化が記述できる． 27 C2 I D G C22D C21D ボールの運動モデル で述べたように，運動状態 12 ¼ の への時間変化を表したものが運動モデ ルである（式（2））．ここまでの運動法則の定式化からボールの運動モデルを 以下のように定義する．まず空中におけるボールの運動状態の変化は式（8）を 解くことによって求められる．しかし，この式は に関する の 1 階常微分方 程式であり，解析的に解を求めることは困難である．そこで微小時間 J の運動 状態変化の蓄積でこれを表現する． ¼ G ¼ ¼ B G IJ I G G G I 7 G C24D 衝突は瞬間的であるため，ボールが衝突したときには式（22）， （21）から以下 のように運動状態が変化する． このとき B ¼ G ¼ ¼ B G ， G C2 I D G I I I G ¼ B ¼ G ¼ ， ¼ B C25D で ある． この運動モデルを用いてシミュレーションを行うことにより，未観測運動状 態の推定が可能になる．運動モデルによるボールの運動のシミュレートには逐 次的な数値計算を用いる．空中における運動は式（8）のように運動方程式によ り表される．運動方程式は位置 の時刻 に関する２階常微分方程式である． H B 2 C23D とおくとこれは１階の連立常微分方程式へと変換できる． B G G B G B C28D このため，空中における運動は K 法を用いて計算することができる． 5 次の K 法では導関数 B C D 22 C26D 及び初期値 ， が与えられたとき， I における を以下のよ B うに近似する． B C B B B C B D I I 1 1 I I 1 1 I I D 2 I 8 C I 1 I 1 I D C2?D C2ED C17D C12D C11D は計算のステップ幅であり，これを小さくとるほど近似精度は上がるが計算 量が増加する．本稿では映像中の物体の運動と比較するため，シミュレーショ ンの計算誤差は小さいほうが好ましい．そのため計算量に関する制約は設けず 精度を維持することを考える．目的とする精度を満たすための手法として 3 次 の K 法との打切り誤差から逐次ステップ幅を更新していく手法が 提案されている．その中の一つである < の方法による可変ステップの K 法を実装した 928:． 可変ステップの K 法ではシミュレーションを行う時間幅 J を指 定しその時間幅で一定の精度を満たすようさらに細かなステップ幅 が自動的 に計算され J 後の運動状態が出力される．その計算中に衝突が検出された場 （21）を用 合には衝突する瞬間の時刻及び運動状態を返すようにし，式（22）， いて運動状態を書き換えた後残りの時間幅のシミュレーションを続けるように することで衝突のシミュレーションを行えるようにした． ボールはその形状から，視覚的に位置とその時間変化しか得ることができず， 回転は観測できない．しかし，11 で述べたように，角速度 は揚力や衝突に よって位置 に影響を与える．このため観測した が運動モデルによるシミュ レーションで再現できるよう初期運動状態を推定することにより を含めた運 動状態を推定する． 運動特性 は物体固有の特性を表しているもの，環境固有の特性を表してい るもの，物体と環境の関係により決まる特性を表しているものに分類できる．表 2 に各運動法則に関わる運動特性をその要因ごとに分類した．これら運動特性 にはその値を予め求めておくことが容易なものと困難なものが存在する．例え ばボールの質量は容易に計測しておくことができる．また，重力加速度は地上 21 表 2> 運動法則に含まれる運動特性とそれを決定する要因 物体（ボール） 環境（空気，被衝突物体） 物体及び環境 重力 抗力 ! 揚力 ! 衝突 ! ! での運動であればどのような環境でもわずかな違いしかなく，推定するまでも なく値が求められている．それに対し空力に関する係数等はボールごとに異な り，その値は風洞等の特殊な実験装置がなければ計測が困難である．そこで値 を求めておくことが困難な ， ， ， については運動状態の推定と同時 に映像から推定することでその物体及び環境に適した運動モデルの獲得を行う ことにする． であれば揚力の働く方向が分かり の方向 は推定できる．空中において常に が成立する可能性があるのは鉛直 空中では式（8）から， G B G B 方向にしか速度が変化しない場合のみである．またこの式から， の違いを基 に ， も推定できることが分かる．衝突時には式（22）より G と G が平 行となる場合を除いて衝突前後の速度方向の変化から角速度による影響を特定 できる．そのため観測された と空中で推定した の方向を用いて ， を推 定し，かつ の大きさも決定できる． 24 第章 運動モデルを用いた映像からの運動推定 映像からの軌跡の観測 テクスチャの乏しい球体を映像中で観測したとき，特徴量として得られるの は円形のシルエットのみである．本稿ではその中心位置をフレームごとに観測 情報として抽出する．この 1 次元位置の系列をここでは軌跡と呼ぶ（図 8）．映 ࣭࣭࣭࣭࣭ 図 8> 映像から観測される特徴量としての軌跡抽出 像は一定のフレームレートで撮影された画像の系列であるため，軌跡には 1 次 元位置のみでなくそのフレームが撮影された時間情報も含まれている． 軌跡からはボールの 4 次元衝突位置を推定することが可能である．映像はフ レームレートの間隔で撮影されているので，ボールが衝突した瞬間が撮影され ていることは少ない．そこでまず，軌跡からどのフレームの間で衝突が起こっ たのかを調べる．衝突時は衝突点の法線方向に対する速度が急激に変化するた め，これを利用する．どのフレームの間で衝突が起きたのかが分かると，次に画 像上での衝突位置を放物線補間により求める．放物線により近似するのは前回 の衝突直後のフレームから今回の衝突直前のフレームまでと，今回の衝突直後 から次回の衝突直前のフレームまでの 1 箇所である．この二つの放物線が交差 する点を画像上での衝突点とみなす．映像撮影時のカメラパラメータ及びボー ルの半径 が既知であれば，画像上での衝突点の推定位置からその 4 次元位置 を計算できる． 軌跡は映像の各フレームにおけるボールの画像平面上の位置を表したもので あり，カメラ 2 台からの軌跡に基づいて推定された運動状態はその光軸方向に 曖昧性を多く含むことになる．この曖昧性を除去するため，異なる視点から同 じ運動を撮影した映像を用意する．複数台のカメラによる運動の観測を考える 際，問題になるのがカメラ間の同期である．通常，複数台のカメラで撮影され 25 た映像から移動物体の 4 次元情報を復元する処理は，同じタイミングで撮影さ れたフレーム同士を用い三角測量の原理に基づいて行われる．そのため，映像 の各フレーム同士が同じ時刻で撮影されていることが保証されていなければな らず，カメラ間の同期という処理が必要になる．しかし，運動モデルは時間方 向の運動状態の制約となっているためそのフレームが撮影された時刻さえ分か ればそれが同時に異なる視点から撮影されていなくても観測情報として統合す ることができる．同様に各カメラのフレームレートについても一致している必 要はない．以上から，本稿ではボールの運動をそれぞれ任意のフレームレート で撮影を行う C 2D 台のカメラで観測している状況を考えることにする． 運動の再現性評価のための目的関数 映像からの運動モデル獲得とそれによる運動状態推定に際して，パラメータ となるのはモデルに含まれる運動特性及び初期運動状態である．これに加え，観 測環境としてカメラが非同期である場合には基準となるカメラからの撮影開始 時刻のずれもパラメータとなる．反発係数 ， については衝突のたびに異な るパラメータとして推定する．これは剛体運動を仮定したことでボールの変形 によるエネルギー損失等の要因が反発係数という運動特性に吸収されてしまっ たことに対する処置である．そのため，以降で述べる最適化処理の前に，映像 から抽出した軌跡から衝突の回数を求め，推定する必要のある反発係数の数を 設定しておく．初期運動状態は位置 ，速度 G ，角速度 がそれぞれ 4 自由 度ずつ有しているが， については画像上の位置が得られているため基準とな るカメラのカメラ座標系における奥行き方向のみを推定することとする． これらのパラメータの推定は運動モデルによるシミュレーションと観測した 軌跡の比較によって行う．ただし，運動モデルによるシミュレーション結果は 4 次元中の運動を表現していて，そのままでは 1 次元である観測した軌跡と比較す ることはできない．そこで観測映像を撮影したカメラのパラメータを基に，シ ミュレートされたボールの運動を映像と同じ画像平面上へ投影し観測情報と同 様に軌跡として表現する．シミュレーション結果のカメラ画像平面への投影は透 視投影とする．4 次元位置 C D とその点のカメラ画像への投影位置 C 23 D の関係は以下の式に従う． 2 B 7 7 7 7 2 2 C14D D はカメラの焦点距離，C D はカメラの光軸中心を示 している．， は世界座標をカメラ座標へ変換するための回転行列及び平行 ただし， B C 移動ベクトルであり，カメラの方向，位置から求める．これにより軌跡同士で 観測映像と運動モデルによるシミュレーションを比較することができる（図 6）． 以上により，運動モデルの獲得は，この二つの軌跡を一致させるためそれぞれ ǼW ࣇ࣮࣒࣮ࣞࣞࢺ ᙳࡉࢀࡓᫎീ ࣭࣭࣭ ࣭࣭࣭ ⏬ീୖࡢ㊥㞳ࢆẚ㍑ 㐠ືࣔࢹࣝࡼࡿࢩ࣑࣮ࣗࣞࢩࣙࣥࡢᢞᙳ 図 6> 軌跡の比較 の軌跡の差を目的関数として定義し最小化を行う最適化問題へと帰着すること ができる． モデル獲得及び運動推定に用いる目的関数 は軌跡の 1 乗誤差とする（式 （15））． B 2 C15D は撮影された映像から抽出したボールの中心位置， は運動モデルによ るシミュレーションをカメラパラメータに従い投影した際のボールの中心位置 を表しており，添え字はそれがカメラ で撮影されたフレーム に対応してい ることを示している．また， はカメラ で撮影された映像のフレーム数であ る．画像平面上での軌跡の分布は一様ではない．ボールの速度が大きければ軌 28 跡の各点の間の距離は大きくなり，小さければ距離も小さくなる．ボールのバ ウンドを考えたとき，鉛直方向の速度が反転するバウンドの頂点付近では速度 が小さくなり，衝突前後の速度は大きくなるため，軌跡の点はこのバウンドの 頂点付近に密に現れる．そこで軌跡の各点間の距離に応じた重み を付け軌跡 上の点の密度差による影響を取り除く． B C13D 目的関数の最適化によるモデル獲得と運動推定 目的関数 に現れる は運動モデルによるシミュレーションをカメラパ ラメータに従い投影して得られる値であるため，この関数の導関数を求めるこ とは困難である．そこで目的関数を最小化するために勾配を必要としない最適 化手法を用いることにする．目的関数が局所最適解を多く含む場合にも大域的 な最適解を探索する手法として焼きなまし法（L>L ）があ る．パラメータ空間において現在の解の近傍を確率的に探索し，関数値が現在 より小さくなれば解を必ず更新し，大きくなった場合にも確率的に解を更新す る．このとき解を更新する確率は温度 によって決定し， が大きいほど改悪 方向へ遷移しやすくなる．探索初期は が大きいため解は容易に勾配を上がる がこの を徐々に小さくしていくことで次第に収束へ向かう．本稿で用いた L のアルゴリズムは以下のようになる． 2 温度 を初期温度 に初期化し初期解における目的関数値 を計算する． 1 温度 で解の改悪方向への更新回数，あるいは試行回数が一定値を超える まで以下の処理を反復する． 現在の解の近傍を正規分布に従い確率的に生成しその解における関数 値 ¼ を計算する． 以下の確率 ! で生成した新たな解へ遷移し ! B 4 2 , ¼ ¼ とする． C18D 温度 が十分小さくなり停止条件を満たせば終了，そうでなければ 7"E として 1 へ戻る． 目標とする関数値 が得られれば探索は終了するが，十分に収束したと考えら れる場合にも探索を終了する．最後のステップにおける停止条件として最低温 26 度や受理率が用いられる．受理率とは各温度の試行回数に対する解の更新回数 の占める割合である． L は局所最適解を抜け出す方法について考えられているが，近傍を確率的に 探索するため収束速度が遅い．本稿では L である程度の解が得られた後，L より収束速度の速い M" 法を用いて最適解を求める．パラメータ数を と すると，M" 法ではパラメータ空間内の 個の互いに共役な方向を求め，各 方向に対して目的関数を最小化するパラメータを探索するという手順を繰り返 すことによってパラメータ空間全体の目的関数の最小化を行う．共役な方向と は互いに干渉しない，線形独立な方向のことである．しかし M" 法は方向集 合が線形従属になる傾向があり，一度線形従属になるとパラメータの探索空間 がその部分空間に限られてしまうため，正しく 次元空間での最小値が求め られないことがある．これを避けるため，目的関数の減少量が最大であった方 向を捨てるという発見的な修正 M" 法を用いる．そのアルゴリズムは以下の 通りである． 2 方向集合 を基底ベクトルに初期化する． 1 以下の手順を，目的関数の最小値が減少しなくなるまで繰り返す． 出発点を とする． について， し，その点を とする． B 2 から方向 に沿って目的関数を最小化 関数の減少が最大であった方向 に対し， とする． とする． を方向 に沿った最小に移動し，その点を とする． 最適化に L を利用しても，局所最適解から完全に逃れられるわけではない． 大域的最適解に収束させるためには，なるべくその近くにパラメータの初期値 を設定してやる必要がある．そこで式（15）の目的関数による最適化を行う前 に，軌跡から推定したボールの 4 次元衝突位置を利用した目的関数で粗い最適 化を行うことを考える．この衝突位置を用いた最適化を行う際のパラメータの 初期値は以下のように設定する． 初期位置 はカメラ 1 台のフレーム 7 のボール位置から三角測量の原理によ り推定する．このとき 1 台のカメラは同期しているとは限らないためこれはあ くまで初期値として用いることにする．初期速度 G は初期位置と最初の衝突位 置からその水平方向成分のみを計算する．G の垂直成分及び初期角速度 に 2? ついては 7 としておく．カメラ間の撮影時刻のずれも 7 を初期値とし，それぞ れの運動特性の初期値には一般的と考えられる適当な値を入れておく． 最適化の第 2 ステップとして，衝突直前のフレームにおけるボールの位置と推 定した衝突位置との 1 乗誤差を式（15）に加えた目的関数を用いて L を行う． 初期温度 はパラメータ空間を広く探索できるよう十分大きな値を設定し，あ る程度の関数値が得られると終了する．この L の結果を初期値として式（15） の目的関数による L を行う．この L は受理率が 7 に近付き十分に収束したと みなせるまで継続する．こうして得られた結果をさらに M" 法の初期値とし て探索を行い，最終的なモデル獲得結果として出力する． 2E 第章 実験 第 1 章で定義したボールの運動モデルを用い，映像を観測することによって得 られた軌跡からモデル獲得及び運動状態の推定が行えることを検証する．ボー ルが運動する環境には水平な床が存在するものとし，この床面が 平面とな るように鉛直上向きに 軸をもつ右手座標系をとる．ボールの運動は異なる視 点をもつ 1 台のカメラにより観測する． シミュレーション実験 映像制作に用いることのできる運動推定結果が得られるかどうかを検証する ため，未観測の回転の推定精度，モデル獲得と観測量という二つの観点からシ ミュレーション実験による数値評価を行った．モデル獲得に用いる軌跡は本稿 で定義した運動モデルを用いてシミュレートした運動をカメラパラメータに従 い投影した． 未観測回転推定 ボールの運動において回転は映像から特徴量が得られないため未観測の運動 状態となる．この未観測運動状態を映像から観測した軌跡を基に推定できるこ とを検証するため，回転を表す角速度の初期状態 のみが異なる運動を観測し モデルの獲得と運動の推定を行った．観測した運動の軌跡は 6 種類で，それぞ れ以下の初期角速度で運動を開始している． 表 1> 軌跡と初期角速度 軌跡 初期角速度 9F: 7 C7 7 7D I I I C87 7 7D C 87 7 7D C7 87 7D C7 87 7D C7 7 87D C7 7 87D 表 4 に観測映像の生成に用いたカメラパラメータを，表 5 に予め与えておく 17 非推定の運動特性を示す．なお，ここでは卓球のボールを想定してその質量と 半径を決定している．表中のカメラの方向はそれぞれ ，， 角を表し ている． 表 4> カメラパラメータ カメラ 7 カメラ 2 フレームレート 9: 87 23 フレーム数 9枚: 87 21 C?77!?77D C857!5?7D C417!157D 焦点距離 9 ,: C?77!?77D 解像度 9 ,: C857!5?7D 光軸中心 9 ,: C417!157D 位置 9: C7!73!7D 方向 9: C723!7!7D C13!73!13D C723!236!7D 表 5> 非推定運動特性 運動特性 入力値 9: 772E 9: 77713 78886 9F : E? 9F : 21 各カメラにより観測した軌跡（以下，入力軌跡）を図 ? に示す．この軌跡を 基に獲得したモデルが再現した運動の軌跡（以下，出力軌跡）は図 E のように なり，評価関数及び運動特性の推定値は表 3，初期運動状態の推定値は表 8 の ようになった．ここで は基準としたカメラ 7 の推定開始フレーム時刻か ら見たカメラ 2 の推定開始フレーム時刻までのずれであり， は 番目の衝突 の反発係数 C D を示している．なお，シミュレーション実験における入力 軌跡生成の際の反発係数は運動を通して一定としている． 表 8 の を見ると， 回転は未観測であるにもかかわらず軌跡からそれぞれの違いが明確に現れてお 12 D 7 （◆）! （◆）! （◆）! D I D I D I （■） （■） （■） 図 ?> 入力軌跡（左：カメラ 7，右：カメラ 2） 11 D 7 （◆）! （◆）! （◆）! D I D I D I （■） （■） （■） 図 E> 出力軌跡（左：カメラ 7，右：カメラ 2） 14 表 3> 評価値及び運動特性の比較 軌跡 入力 7 I I I 評価値 9 , : 9: 7217E 72431 724?E 724E2 72321 7221E 72127 71 71774 72EE8 72EE6 72EEE 72EE? 72EE? 72EEE 743 74461 7445? 743E2 22 2726 27EE 2272 7413E 7EEE2 74253 744?1 74474 2773 2275 256E 15 7"63 7"5 7"6588 7"4EE1 7"65?8 7"577E 7"6325 7"4E86 7"6587 7"4?23 7"6553 7"4?24 7"65?4 7"4E37 7"65E5 7"?467 7"63 7"5 7"6346 7"422? 7"6318 7"4351 7"631E 7"45?7 7"65?3 7"4?56 7"65?4 7"4?86 7"65E3 7"4EE1 7"65E? 2"777 表 8> 初期運動状態の比較 軌跡 入力 7 I I I 9: 7"8 7"5 1"3 7"3EE6 7"4E?E 1"5EE 7"3E?5 7"4EE2 1"5E4 7"8723 7"4E?8 1"378 7"8773 7"4E?? 1"371 7"8778 7"4E?6 1"371 7"3EE6 7"4E?E 1"5EE 7"3E?E 7"4EE7 1"5E3 9F: G 9F: 2"6 2"1 7 2"8E? 2"122 表 1 参照 7"7774411 2"8E1 2"176 7"71E68 2"678 2"123 7"71?12 2"677 2"122 7"778128 2"8E8 2"125 7"72316 2"8E? 2"17? 7"7773E71 2"8E4 2"173 7"72315 13 7"2854 7"7436? 2"355 81"66 1"2E1 7"75743 85"65 1"537 2"275 2"4E? 83"?7 2"8?1 5"215 86"1E 4"757 7"114? 7"27?1 3E"74 2"?13 7"5E72 55"E8 り，その各成分の誤差は最大 39F: 程度である．これは毎秒 2 回転未満であ り，映像制作としてボールにテクスチャを貼る等の処理を行う場合にも視聴者 がこの違いを意識することはないと思われ，映像観測による未観測運動の推定 が精度良く行えたとみなすことができる． 入力軌跡，出力軌跡間の違いはほとんどなく，画像上で比較すると標本化の ためにフレーム総数の 2 割ほどが 2 ピクセルのずれとして現れる程度である．表 3 にあるとおり評価値は 723 程度にまで最適化できている．シミュレーション 実験にもかかわらず評価値が 7 とならないのは観測した軌跡ではボールの位置 をピクセルで表しているのに対し運動モデルにより生成した軌跡ではサブピク セルまで表現しているためであると考えられる．また，この表から や推 定を行った運動特性もほぼ一致している．ただし，空力の係数 及び と は と比べ値のばらつきが大きい．これは空力の変化に比べ の変化が運 動に与える影響が大きいこと， と が未観測運動状態 と関わっているこ とが理由として考えられる．また，とりわけ軌跡 くなっているが，これは軌跡 I 及び軌跡 の 及び の精度が低 において衝突時に G と G が平行 になっているためと考えられ，この場合は 14 で述べたように が一意に定ま らずそれに関連した運動特性も一意に定めることができない．表 8 でも軌跡 の の推定値が他の軌跡に比べ正解値から外れていることが分かる．しかし， それでも の向きは決まり，他の軌跡との違いも明らかである． モデル獲得と観測量 本稿では推定した運動状態を観測映像中に重畳することで元の映像には現れ ていなかった運動状態を表示することに利用する．そのために，推定した運動が 映像上で異なる運動と判断されないようボールの画像上での位置が画像解像度 の 3N以上ずれないことを目標精度とする．これは 857 5?7 の画像では 17 ピク セル程度のずれに相当する．そこで未観測運動推定のための運動モデルの獲得が 実用的な撮影条件での軌跡の観測によって行うことができるかどうか検証する ため，映像のフレーム数とフレームレートの双方の条件に関して実験を行った． フレームレートを固定しフレーム数の異なる映像から運動モデルを獲得する ということは，運動の観測期間を変化させるということである．ここでは十分 なフレームレートを仮定し，観測期間と精度との関係について調べた．入力軌 跡は図 27 で，この軌跡の始め 27 フレームから 257 フレーム全てまで，27 フレー ムずつモデル獲得に用いる軌跡のフレーム数を増やしながらそれぞれモデル獲 18 得と運動推定を行った．なお，この実験においては簡単のため 1 B7 とし， 台のカメラから同じフレーム数の軌跡を用いてモデル獲得を行っている．こ D カメラ 7 D カメラ 2 図 27> 入力軌跡（257 フレーム） の軌跡を撮影したカメラのパラメータ及び非推定の運動特性はそれぞれ表 6 及 び表 ? である． 実験はそれぞれ 27 回ずつ行い，推定した各パラメータの平均 表 6> カメラパラメータ カメラ 7 カメラ 2 217 217 フレームレート 9: 焦点距離 9 ,: C2537!2537D 解像度 9 ,: C857!5?7D C857!5?7D 光軸中心 9 ,: C417!157D C417!157D 位置 9: C74!763!7D 方向 9: C713!723!7D C2537!2537D C23!78!23D C74!7?3!7D 及び標準偏差を調べた．横軸をフレーム数，縦軸を各パラメータの値としてそ の結果を図 22，21 に示す．図中の破線は各パラメータの正解値を示している． また，この運動は推定開始フレームを 7 としてフレーム 11，14 の間，フレーム ，67 の間，フレーム 222，221 の間の計 4 回床と衝突している．反発係数 は 8E 衝突回数の分だけ推定するため，47 フレーム，?7 フレーム，217 フレームから は推定する の個数が増える．図 22，21 では衝突回数が増えた位置に印をつけ 16 表 ?> 非推定運動特性 運動特性 入力値 9: 77113 9: 773 75 9F : E? 9F : 24 ている． 運動特性のうち標準偏差の大きいものは ， であり，特に は 推定値が正解から離れている．また， は正解値に近いもののフレーム数によ らず多少のばらつきをもっていることが分かる．先の実験では卓球ボールを想 定していたが，今回はスーパーボールを想定して質量及び半径を設定した．卓 球ボールに比べてボールが重く，空力が運動に与える影響が小さくなったため に，空力に関する係数である 及び のばらつきが大きなものとなってい ると考えられる． 及び は 47 フレーム未満では標準偏差が大きい．フレー ム数が少ないことも理由になっているが，これはボールがまだ一度も床と衝突 していないために，両者が個々に定まらないからだと考えられる．ボールが一 度衝突した 47 フレーム以降は，， 方向の がほぼ正しく得られている． 方向の のみがそれ以降もばらつきがあるのはこれが衝突に影響を及ぼさな いためで，揚力のみから推定することになる．このパラメータは E7 フレーム以 降標準偏差が小さくなり，安定して推定できていることが分かる． 27 回の試行のうち最も評価値を最小化したモデルを用いて，獲得に用いたフ レーム以降の運動状態を 257 フレームまで予測した．その結果をカメラ 7 から の軌跡として比較したものが図 24，25，23 である．なお，予測部分の運動をシ ミュレートする際の反発係数 には獲得したモデルに含まれる全ての反発係数 の平均を用いた． 図では▲で示した部分が獲得したモデルを基に推定した運動 の軌跡（以下，予測軌跡）となっている．概ね 57 フレーム以降では，画像上で のボールの位置のずれが最大 17 ピクセル以下に収まっており，映像制作に用い た場合に違いが認識できない程度の予測が可能になると思われる．以上から，一 度床と衝突し水平方向の角速度が求まれば，モデル獲得に用いたフレーム数と 同程度のフレーム数の運動を十分な精度で推定できると考えられる．また，衝 1? 㻜㻚㻜㻜㻜㻞㻡 㻜㻚㻡 㻜㻚㻠㻡 㻜㻚㻜㻜㻜㻞 㻜㻚㻠 㻜㻚㻜㻜㻜㻝㻡 㻜㻚㻟㻡 㻜㻚㻜㻜㻜㻝 㻜㻚㻟 㻜㻚㻞㻡 㻜㻚㻜㻜㻜㻜㻡 㻜㻚㻞 㻜 㻜㻚㻝㻡 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻙㻜㻚㻜㻜㻜㻜㻡 㻜㻚㻝 㻜㻚㻜㻡 㻙㻜㻚㻜㻜㻜㻝 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻙㻜㻚㻜㻜㻜㻝㻡 評価値 9: 㻝 㻞 㻜㻚㻥 㻝㻚㻤 㻜㻚㻤 㻝㻚㻢 㻜㻚㻣 㻝㻚㻠 㻜㻚㻢 㻝㻚㻞 㻜㻚㻡 㻝 㻜㻚㻠 㻜㻚㻤 㻜㻚㻟 㻜㻚㻢 㻜㻚㻞 㻜㻚㻠 㻜㻚㻞 㻜㻚㻝 㻜 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻜 㻝㻟㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻝 㻝 㻜㻚㻥㻡 㻜㻚㻤 㻜㻚㻥 㻜㻚㻢 㻜㻚㻤㻡 㻜㻚㻠 㻜㻚㻤 㻜㻚㻞 㻜㻚㻣㻡 㻜 㻜㻚㻣 㻙㻜㻚㻞 㻜㻚㻢㻡 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻙㻜㻚㻠 㻜㻚㻢 㻙㻜㻚㻢 㻜㻚㻡㻡 㻙㻜㻚㻤 㻜㻚㻡 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻙㻝 （ （◆）! （■）! （▲）） （ （◆）! （■）! （▲）） 図 22> フレーム数と評価値及び運動特性精度 1E 㻟 㻝 㻞㻚㻡 㻜㻚㻡 㻞 㻜 㻝㻜 㻝㻚㻡 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻙㻜㻚㻡 㻝 㻙㻝 㻜㻚㻡 㻙㻝㻚㻡 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻙㻞 G 㻝㻡㻜 㻝㻜㻜 㻡㻜 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻟㻜 㻙㻡㻜 㻙㻝㻜㻜 㻙㻝㻡㻜 㻙㻞㻜㻜 㻙㻞㻡㻜 図 21> フレーム数と初期運動状態精度（（◆）! （■）! （▲）） 突により定めることのできない垂直方向の角速度が E7 フレーム程度で安定して いることから，衝突が起こっていなくても を与えておけば回転を安定して 推定できると考えられる．この映像は 2179: であるため，E7 フレームの観測 は 7639: の観測に相当する． 軌跡の最終フレームでの 4 次元の運動状態を数値比較すると表 E のようにな る．角速度にはばらつきがあるものの，37 フレーム以降では の正解値との距 離がボールの半径以下となっており，予測がうまく行えていることがわかる． 同じ期間運動を観測しても，映像のフレームレートが異なれば観測される軌 跡は密になり情報量が変化すると考えられる．そこで今度はフレームレートを 変化させて精度との関係について調べた．入力軌跡の運動は先程と同じものを 用い，279: から前回の実験で用いた 2179: まで 279: ごとに 27 回ずつ実験 を行い，推定した各パラメータの平均及び標準偏差を調べた．横軸をフレーム レート，縦軸を各パラメータの値としてその結果を図 28，26 に示す．この実験 においても B7 であり，同じフレームレートで撮影する 1 台のカメラか ら得られる軌跡を用いてモデル獲得を行っている．各フレームレートの軌跡は 運動の撮影時間が等しくなるようにフレーム数を設定した． 入力軌跡は図 27 に あるように床と 4 回衝突している．しかし，279: の際には軌跡の点が疎にな 47 47 フレーム （左：カメラ 7，右：カメラ 2） 57 フレーム （左：カメラ 7，右：カメラ 2） 37 フレーム （左：カメラ 7，右：カメラ 2） 87 フレーム （左：カメラ 7，右：カメラ 2） 図 24> 予測した軌跡との比較（入力軌跡（◆）! 出力軌跡（■）! 予測軌跡（▲）） 42 67 フレーム （左：カメラ 7，右：カメラ 2） ?7 フレーム （左：カメラ 7，右：カメラ 2） E7 フレーム （左：カメラ 7，右：カメラ 2） 277 フレーム （左：カメラ 7，右：カメラ 2） 図 25> 予測した軌跡との比較（入力軌跡（◆）! 出力軌跡（■）! 予測軌跡（▲）） 41 227 フレーム （左：カメラ 7，右：カメラ 2） 217 フレーム （左：カメラ 7，右：カメラ 2） 247 フレーム （左：カメラ 7，右：カメラ 2） 257 フレーム （左：カメラ 7，右：カメラ 2） 図 23> 予測した軌跡との比較（入力軌跡（◆）! 出力軌跡（■）! 予測軌跡（▲）） 44 表 E> 評価値及び運動特性の比較 モデル獲得に用いた フレーム数 正解値 47 37 67 E7 227 247 257 9: 7"5136 7"2257 1"?25 7"5?54 7"2215 1"?8E 7"5541 7"221E 1"?43 7"57?E 7"2245 1"?7? 7"5742 7"2243 1"6E8 7"52E8 7"2252 1"?7? 7"5183 7"2258 1"?25 7"513E 7"2251 1"?25 45 G 9F: 7"8831 7"6354 7"7?381 7"5512 7"63E5 7"2242 7"8735 7"682E 7"7521? 7"88E? 7"63E2 7"27E 7"3677 7"6331 7"7748E2 7"8577 7"6312 7"787E4 7"88?2 7"65E1 7"7?61E 7"8832 7"6324 7"7?5E6 9F: 44"14 17"77 81"14 8?"72 27"7E 277"2 51"E1 14"71 62"EE 47"2? 53"82 36"4E 48"26 11"62 83"21 44"31 27"1E 81"62 15"57 27"37 31"3? 13"42 22"1E 34"3? 㻜㻚㻜㻜㻜㻡 㻜㻚㻡 㻜㻚㻠㻡 㻜 㻜㻚㻠 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻥㻜 㻝㻝㻜 㻥㻜 㻝㻝㻜 㻜㻚㻟㻡 㻙㻜㻚㻜㻜㻜㻡 㻜㻚㻟 㻜㻚㻞㻡 㻙㻜㻚㻜㻜㻝 㻜㻚㻞 㻜㻚㻝㻡 㻙㻜㻚㻜㻜㻝㻡 㻜㻚㻝 㻙㻜㻚㻜㻜㻞 㻜㻚㻜㻡 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻙㻜㻚㻜㻜㻞㻡 評価値 9: 㻝 㻞 㻜㻚㻥 㻝㻚㻤 㻜㻚㻤 㻝㻚㻢 㻜㻚㻣 㻝㻚㻠 㻜㻚㻢 㻝㻚㻞 㻜㻚㻡 㻝 㻜㻚㻠 㻜㻚㻤 㻜㻚㻟 㻜㻚㻢 㻜㻚㻞 㻜㻚㻠 㻜㻚㻝 㻜㻚㻞 㻜 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻝 㻝 㻜㻚㻥㻡 㻜㻚㻤 㻜㻚㻥 㻜㻚㻢 㻜㻚㻤㻡 㻜㻚㻠 㻜㻚㻤 㻜㻚㻞 㻜㻚㻣㻡 㻜 㻜㻚㻣 㻙㻜㻚㻞 㻜㻚㻢㻡 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻙㻜㻚㻠 㻜㻚㻢 㻙㻜㻚㻢 㻜㻚㻡㻡 㻙㻜㻚㻤 㻜㻚㻡 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻙㻝 （ （◆）! （■）! （▲）） （ （◆）! （■）! （▲）） 図 28> フレームレートと評価値及び運動特性精度 43 㻟 㻝 㻞㻚㻡 㻜㻚㻡 㻞 㻜 㻝㻜 㻝㻚㻡 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻙㻜㻚㻡 㻝 㻙㻝 㻜㻚㻡 㻙㻝㻚㻡 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻙㻞 G 㻝㻡㻜 㻝㻜㻜 㻡㻜 㻜 㻝㻜 㻟㻜 㻡㻜 㻣㻜 㻥㻜 㻝㻝㻜 㻙㻡㻜 㻙㻝㻜㻜 図 26> フレームレートと初期運動状態精度（（◆）! （■）! （▲）） るため，衝突回数を 1 回と誤って判断し目的関数の最小化に失敗した．179: 以上のフレームレートでは衝突回数と正しく抽出でき，推定値やそのばらつき もほぼ同様の結果となっている．このことから，モデルの獲得には高いフレー ムレートは必要なく，衝突回数という定性的な運動が判断できれば 179: 程度 でも観測情報として十分だと考えられる．以上の結果から，運動モデルの獲得 は実用的な映像の撮影条件で行うことができることが確認された． 実映像実験 実際に撮影された映像に対し本手法を適用し実用性を検証する．実験は事前 にキャリブレーションを行った 1 台のカメラを用い水平なガラス板の上でボー ルが跳ねる様子を撮影し運動モデルによる運動推定を行った．撮影に用いたカ メラは M = K こでは ) , 社の ) , 及び ) である．こ をカメラ 7，) をカメラ 2 としている．撮影に 際してはモーションブラーが生じないようシャッター速度を 59: に設定した． 映像からの軌跡の抽出には & 変換による円検出を用いたが，正しく抽出が 行えていないと判断した場合には手動で修正を加えた．また，軌跡を抽出する 前にキャリブレーションによって得られたレンズの歪みを補正しておく． 48 実験は卓球のボール，スーパーボール，ゴルフボールでそれぞれ行った．運 動は図 2? のように撮影されている．事前に行った各カメラのキャリブレーショ ) , （カメラ 7） （カメラ 2） ) 図 2?> 撮影した映像の例 ン結果を表 27 に示す． 表 27> カメラパラメータ フレームレート 9: カメラ 7 カメラ 2 87 23 焦点距離 9 ,: C8882!88?8D 解像度 9 ,: C857!5?7D 光軸中心 9 ,: C4873!161ED 位置 9: C7?368!785E1!21E6D 方向 9: C74578!7??74!777E2?ED C?E51!?E17D C857!5?7D C1653!1636D C2772!767E6!27E6D C71E7?!11E5!7773887D 映像から抽出した軌跡に対して前半をモデル獲得に利用し，後半を予測して 比較を行った．これを図 2E に示す．モデル獲得時の評価値は表 22 となった．シ ミュレーション実験と比較して，表 22 の評価値は大きくなっている．この要因 としては観測誤差とモデル誤差が考えられる．観測誤差とはカメラのキャリブ レーションや軌跡抽出の際に起こる誤差であり，特に床とカメラの相対位置は ボールの衝突による運動状態の変化が大きいだけに重要になってくると考えら れる．一方で，モデル誤差とは本稿で用意したボールの運動モデルが実際のボー 46 卓球ボール （左：カメラ 7，右：カメラ 2） スーパーボール （左：カメラ 7，右：カメラ 2） ゴルフボール （左：カメラ 7，右：カメラ 2） 図 2E> 実映像での軌跡の予測（入力軌跡（◆）! 出力軌跡（■）! 予測軌跡（▲）） 表 22> 評価値 ボール 評価値 9 , 卓球ボール 44?E スーパーボール 12E5 ゴルフボール 2473 4? : ルの運動を記述しきれなかったために起こる誤差である．予測軌跡と入力軌跡 とのずれは最大で卓球ボールが 57 ピクセル程度，スーパーボールが 17 ピクセ ル程度，ゴルフボールが 117 ピクセル程度であった．この結果からスーパーボー ルに対しては本稿で用意したモデルで運動を表現できているが，ゴルフボール に対してはモデルで表現できていない要因が大きいことが分かる．卓球ボール 及びスーパーボールは表面が滑らかであるが，ゴルフボールはディンプルがあ る点が大きく異なる．このために形状を球とする仮定が適切でなかったことが 考えられる． また，図 2E において予測軌跡は衝突を境に入力軌跡とのずれが大きくなって いる．衝突時には反発係数が運動特性として働く．そこで表 21 にこのとき獲得 された反発係数を示す．卓球ボールとゴルフボールについては推定軌跡に衝突 表 21> 反発係数推定結果 卓球ボール スーパーボール ゴルフボール 7"E534 7"451? 7"E221 7"6167 7"6632 2"777 7"?8?1 7"E178 が 2 回しか含まれていないが，スーパーボールは 1 回衝突しているため反発係数 も 1 個推定している．最も精度良く予測を行えたスーパーボールであるが， ， は反発係数を一定と仮定して入力軌跡を作成し推定を行ったシミュレーショ ン実験（表 3）と比べ各々の衝突時の値が大きく変化している．これは衝突に より反発係数が衝突直前の運動状態に依存して変化する可能性を示唆している． 923: では と G との関係が粉砕機のスチールボールに対して調べられている が，このような関係をモデル獲得として行うことができるとゴルフボールに対 しても要求する精度で予測が行える可能性がある． 4E 第章 結論 本稿では映像に現れない運動状態を基にした映像制作を行うために，運動モ デルを用い映像に現れる運動状態からこれを推定する手法を提案した． 物体の運動状態は時々刻々と変化していくが，その変化の仕方は運動状態に 従ったものである．本稿ではこのことを利用し回転を示す特徴が映像に現れな いボールの運動に対する適用を行った．運動における運動状態の時間変化は運 動モデルで表現する．運動モデルには運動法則と物体及び環境に固有の運動特 性が含まれており，映像から初期運動状態と運動特性を推定することでモデル の獲得及び運動推定を行った．球体であるボールは映像上では視覚的にその回 転を捉えることが困難であるが，回転は揚力や衝突によってボール位置の時間 変化に影響している．ボールの位置は映像上に現れるため，その関係をモデル 化することで位置の変化から回転の推定が可能になる．この考えに基づき，実 験において映像からボールの運動モデルの獲得と運動推定が行えることを検証 した．その結果，シミュレーション実験において映像に現れない回転の違いを 推定できた．また，7639: 程度の観測により回転まで安定して推定できること， 撮影時のフレームレートは 179: 程度で十分であることを調べた．これは映像 撮影条件として実用的な観測量で運動モデルの獲得ができることを示している． 実際のボールに対しては，スーパーボールに対しては目標精度を満たせたもの のゴルフボールの運動推定は誤差が大きくなるため本稿のモデルでは良好な結 果が得られなかった．これはゴルフボール表面の形状に起因するモデル誤差で あると考えられ，より詳細なモデル化によるモデル誤差の低減が課題となる． 本稿では同期していない 1 台のカメラを用いて実験を行っている．一つの映 像から観測できるのはフレーム画像上でのボールの位置のみであり，これを観 測情報として運動を推定するとカメラの光軸方向に誤差を多く含む結果になる． 観測した映像上では一致していても，この誤差は映像に現れない運動を推定し た際に大きな差となって現れる可能性があるためこの曖昧性は除去できること が望ましい．同期した 1 台のカメラを用いると三角測量の原理からボールの 4 次元位置を特定できるためこの曖昧性は完全に除くことができる．ボールはそ の形状から観測する方向によって観測情報が変化することはなく，4 台以上カ メラを用意しても原理的にそれ以上情報量は増えない．実際にはカメラを増や すことにより空間解像度を上げることはできる．ただ，カメラの追加は新たな 57 キャリブレーション誤差を含めることになるために大きな精度向上は望めない と考えられる． また，スポーツ映像など複数台のカメラによる撮影は広く行われているもの のカメラ間の同期を取ることは困難である．運動モデルを導入した提案手法で は運動状態の変化に対し時間方向の制約が存在している．そのため，フレーム が同期していなくても異なる視点からの映像を追加することで空間上の曖昧性 を低減することが可能になると共に，観測情報の時間解像度を上げることもで きる．カメラ台数の増加により各フレームの撮影時刻にずれがあれば時間解像 度はどこまでも上げることができるが，シミュレーション実験によりボールの 定性的な運動が分かる程度のフレームレートがあれば十分なモデル獲得結果が 得られることが分かったため，本稿では 1 台のカメラで十分であると判断した． 本稿では，運動モデルの獲得をボールの一連の運動のみから行ったが，同じ 物体・環境で観測できる運動では運動特性は同じものであり，全て単一の運動 モデルで表現できると考えられる．同じ物体・環境における複数の運動を観測 することで運動特性の推定はより確かなものになると思われる．特に衝突は一 連の運動を観測しただけでは数回しか観測できないため，運動状態と反発係数 との関係を運動モデルとして獲得する際に多くの運動を一つのモデルとして表 現することが有用になる．また，今回映像中のボールは円として映ると仮定し ているが，カメラのシャッター速度に対しボールの速度が速ければモーション ブラーが発生しボールの像は薄く引き延ばされた形となる．そのような場合に も特徴量や評価関数の工夫により運動推定を行うことが今後の課題となる． 52 謝辞 本研究を行うにあたり熱心なご指導を賜りました美濃導彦教授に深く感謝致 します．予備審査におきまして貴重なご助言を頂きました牧淳人准教授に深謝 いたします．本研究のみならず研究に対する取り組み，思考過程について多く のことを学ばせて頂きました角所考准教授に心より感謝いたします．研究に関 し，多くのご助言を頂きました飯山将晃講師に心より感謝致します．日頃より 気にかけていただき様々な場面でアドバイスを頂きました舩冨卓哉助教に感謝 致します．親身に研究の相談をお聞きくださった籔内智浩氏に感謝の意を表し ます．また，研究等で支えて頂きましたモデルグループ並びに美濃研究室の皆 様に厚くお礼を申し上げます． 51 参考文献 92: ;! ! $! ; ' ! - $> K ' # - ! ! # 13! 27! 21E8O2422 C1774D 91: P"! => K ' ' - - L ! ! # ?! 1! 224O211 C2EE1D 94: ! - < ! K> K- # - <, L! ! # 15! 6! E41OE58 C1771D 95: L ! > ! >FF""" F 93: M # ! > ! >FF""" F F , 98: ! ' 0! > , < " ! ! 96: L- " < L ! 276O221 C2EE?D 矢野一樹! 滝口哲也! 有木康雄> 探索手法の切り替えを用いたサッカー映像 におけるボール追跡システム! 画像の認識・理解シンポジウム C'K*1776D! L411! 2731O2738 C1776D 9?: 石井規弘! 北原格! 亀田能成! 大田友一> 1 視点からの映像を利用したサッ カーボール追跡手法! 画像の認識・理解シンポジウム C'K*1776D! L42E! 2743O2757 C1776D 9E: 鳴尾丈司! 溝田武人> ゴルフボールの空気力測定と 4 次元飛翔軌道解析! な がれ > 日本流体力学会誌! 927: 浅井武! 瀬尾和哉! 小林修> サッカーボールの空力特性に関する研究! 体育 學研究! 922: # 14! 4! 174O122 C1775D # 31! 2! 1EO4? C1776D 本江哲行! 佐藤秀紀! 岩田佳雄! 小松崎俊彦! 本郷陽子> 球と平面からなる 衝突系のモデル化と解析! 日本機械学會論文集 < 編! # 83! 845! 11?6O11E4 C2EEED 921: 宇治橋貞幸! 伊能教夫! 田中克昌! 田中貴規! 佐藤文宣! 金子靖仙> 薄板に衝 突するゴルフ・ボールの反発特性の解析 C機械力学! 計測! 自動制御D! 日本 54 機械学會論文集 924: < 編! # 8?! 888! 333O382 C1771D <! K> ' Æ ! ! # 67! 3! 5?1O5?E C1771D 925: &! 0 -> - " " ! ! # 61! 6! ?63O??4 C1775D 923: K ! K! ! L / ! /> <PPL ' $K &=& K=Q 0PP 'PPL *L= P-! # - K# PP= L'* ! C1773D 928: M! / &! -! L ! # ! / - $! 0 M> " # $ % ! < * M C2EE1D 55