映像モニタリングのための人物追跡技術

映像監視
映像モニタリングサービスを支える画像処理技術
マーケティング
人物追跡
特
集
映像モニタリングのための人物追跡技術
おおさわ
た つ や
う
大澤 達哉 /
不審人物の監視や顧客の店舗内動線を追跡することなどを目的とした人物
追跡技術を紹介します．遮蔽物がある場合でも，環境情報の活用により，正
わかばやし
か お る
しょうぐん
小軍
こ い け
ひ で き
若林 佳織 /小池 秀樹
確に人物の動きを追跡する技術です．監視用途のみならず，マーケティング
NTTサイバースペース研究所
用途への活用が期待されています．
映像監視技術への期待の高まりと
人物追跡技術
監視映像への積極的な活用への期
としても環境が違えば，別の意味を
て人物追跡ができる基礎技術の検証を
持ってくるからです．例えば，監視す
行いましたので紹介します．
る環境のセキュリティレベルによって，
環境ごとに許される行動を定義するこ
人物追跡に関する関連研究
映像からの人物追跡技術は非常に
待の高まりから，監視映像の意味を抽
とがいろいろな場所で行われています．
出する映像監視技術に対する期待が
このような観点から環境情報を活用し
古くから研究されており，すでに多く
高まってきています．
た人物追跡手法を提案しています．
の先行研究があります（1）．しかしなが
映像監視技術の中でも人物追跡技
その第一歩として，追跡を行う環境
ら，そのほとんどすべてが映像中の人
術はもっとも重要な技術の１つです．
の３次元構造を事前に獲得し，これを
物位置，すなわち２次元映像上の位置
なぜならば，人物の動きは人物の行動
有効に活用することで，従来，困難と
を追跡するのにとどまっており，我々
と密接に関係しているからです．ふら
されてきた，人物の環境への出入り，
が住む３次元空間上の位置が追跡で
ふらしている人を見たら挙動不審だと
環境中の物体によって人物が遮蔽され
きるわけではありません．図２に示す
感じることがありますよね．
てしまうような状況においても安定し
ように，２次元映像上ではカメラから
また，マーケティング用途への応用
も期待されています．例えば図１に示
デザート
すように店舗等に設置されている監視
お弁当
カメラから店舗にいる人の位置を追跡
することができれば，顧客がどのよう
な商品に興味を持っていて，実際にど
カップ麺
パン
お菓子
化粧品
日用品
雑貨
んな商品を買ったというようなこれま
で以上にきめ細やかな購買行動の把握
を行うことが可能となり，強力なマー
飲料
ケティングツールとなり得る可能性が
あります．
実際に監視カメラ映像から人物の位
置を追跡し，その行動を解析するには，
追跡を行う環境に関する情報を取得す
ることが重要となってきます．なぜな
ATM
雑誌
図１ マーケティングへの活用イメージ（店舗内の動線追跡）
らば，同じ人物が全く同じ行動をした
NTT技術ジャーナル 2007.8
17
映像モニタリングサービスを支える画像処理技術
近くにある小さな物体と遠くにある大
多視点映像を取得し，環境の３次元
よってどのように遮蔽されるかを推定
きな物体は全く同じ映像として写って
構造が獲得できます．
するのに利用します．また，環境内の
しまうという奥行きに関する不定性が
獲得された３次元構造からは環境内
どこに出入り口があるかという情報を
あり，たとえ２次元映像上の人物位置
にある物体の位置・大きさに関する情
付加しておくことで，人物が環境へ出
が分かっても，実際に人物が環境中の
報が得られます．これは人物が物体に
入りする状況を予測するのに役立てる
どこにいるのか推定するのは容易では
ないのです．
また， 複 数 台 のカメラを用 いて，
各々のカメラで撮影された映像を解析
し，２次元映像上の人物位置を追跡
し，その結果を統合することで三角測
視点
量に基づいて，３次元空間上の人物位
画像面
置を追跡する方法も提案されています
（2）
が
，２次元情報から３次元情報の
図２ ２次元映像の奥行きの不定性
復元は逆問題であるため解くことが難
しく，追跡結果が安定しないという問
題があります．
ステップ１（環境の３次元構造獲得）
環境情報を活用した人物追跡
環境情報を活用することで，人物の
環境への出入り，環境中の物体によっ
て人物が遮蔽されてしまうような状況
でも安定した人物追跡を実現する手
法（3）について説明します．
この手法は，図３に示すように追跡
する環境の３次元構造獲得と獲得さ
れた環境内での追跡の２ステップで構
獲得された環境の３次元構造
成されています．
まず，図３ステップ１の追跡する環
境の３次元構造獲得について説明し
ます．
可動雲台による多視点映像の取得
ステップ２（環境内での追跡）
一般的に３次元構造の獲得はレー
ザレンジファインダーに代表されるよう
人物検出画像
監視画像
推定結果
背景差分
な３次元計測装置を用いることで高い
精度を実現可能ですが，非常に高価で
あるという問題があります．そこで，
我々は多視点映像から簡易に環境の
比較
３次元構造を復元する技術を開発し
（4）
ました
．上下に可動するカメラ雲台
を利用して，監視カメラを20 cm程度
移動させながら映像を撮影することで，
18
NTT技術ジャーナル 2007.8
図３ 提案手法の概要
予測結果の期待値
メディアコンピューティングの追求
特
集
ことができます．ここまでが人物追跡
で人物の追跡を行うことが可能とな
似ていることが見て取れ，精度良く追
の前準備となります．
ります．
跡が行われていることが分かります．
次に図３ステップ２の獲得した３次
提案手法は直接人物の３次元位置
この監視映像では，人物の環境への
元構造の中で人物の追跡を行う方法に
の予測を行って，予測結果を実際の監
出入りにより，追跡しなくてはならな
ついて説明します．
視カメラ映像と比較するだけなので，
い人数が動的に変わっていきますが，
提案手法では，人物が３次元空間
３次元復元を行っておらず，従来手法
出入り口領域での人物の出入りを予測
中のどこに存在するか，人物に出入り
で問題となっていた逆問題を回避する
することで，これに対処することを可
があったかなど複数の仮説を立てて予
ことに成功し，安定した追跡結果を得
能としています．また，本棚によって
測を行います．また，人物の身体を３
ることができます．
人物の身体のほとんどが遮蔽されてし
次元楕円体で近似し，この楕円体の
大きさに関しても同時に仮説を立てま
す．これにより身体の大きさの個人差
にも対処することを可能にしました．
各々の仮説が表現する状況をシミュ
まうような状況が起こっていますが，安
人物追跡実験とその結果
定した追跡を続けていることが分かり
図４に示すような環境で２台の監視
カメラを用いて人物追跡の実験を行い
ました．
ます．
これらの状況はいずれも実際の監視
映像では頻繁に起こる状況であるにも
レートするために，実際に設置されて
図５に３人の人物が次々に追跡環
かかわらず，従来，追跡が非常に困難
いる監視カメラと同じカメラパラメー
境に入っては出て行くという状況の追
とされてきました．我々が提案する手
タ（焦点距離，１画素の大きさなどカ
跡結果を示します．図５中の，監視画
法では環境情報を有効に活用すること
メラに固有のパラメータ）を持つ仮想
像・仮想画像・俯瞰画像はそれぞれ，
で，このような状況下でも安定した追
のカメラで撮影を行って予測画像を生
監視カメラの映像・それに対応する人
跡を続けることを可能としました．
成します．予測は環境に配置されてい
物位置推定結果を仮想のカメラで撮影
る物体の位置や出入り口領域などの
した仮想画像・人物位置推定結果を
情報を考慮してTrans-dimentional
フロアマップ表示した俯瞰画像となっ
監視用途およびマーケティング活用
MCMC
（Markov Chain Monte Carlo）
ています．監視画像と仮想画像がよく
を目指した３次元空間中の人物位置
今後の展開
法という確率統計に基づいた状態推定
手法を用いて効率よく行っています．
以上のようにして得られた予測画像
（各々の仮説が表現する状況をシミュ
レートした画像）は環境に存在する物
椅子
体から人物がどのように遮蔽されるか
本棚
も忠実に再現されています．そのため，
椅子
この予測画像と実際の監視カメラで撮
影された画像から背景を差分し，人物
出入り口領域
領域だけを抜き出した人物領域検出画
像との比較を行うと，比較する２枚の
机
画像が似ているほど，予測結果が確か
らしいことを示すことが分かります．こ
の比較作業によって得られた結果を基
に予測結果の確率的期待値を計算す
ることで，人物が３次元空間中のどこ
にいるかを推定することが可能になり
監視カメラ
監視カメラ
図４ 人物追跡実験の環境
ます．これを繰り返し行っていくこと
NTT技術ジャーナル 2007.8
19
映像モニタリングサービスを支える画像処理技術
を追跡する技術を紹介しました．紹介
した技術は環境情報を活用することで，
監
視
画
像
人物の出入りによる追跡人数の変化，
環境中の物体による遮蔽に対して非常
に頑健であるという特長を持ってい
ます．
仮
想
画
像
今後は，提案手法の実環境での検
証を進めるとともに，さらなる環境情
報の活用を目指し，監視映像から高度
な人物行動の意味を解析することを試
俯
瞰
画
像
監
視
画
像
仮
想
画
像
俯
瞰
画
像
みていくつもりです．
■参考文献
(1) W. Hu, T. Tan, L. Wang, and S. Maybank：“A
survey on visual surveillance of object motion
and behaviors,”IEEE Trans. Systems, Man,
And Cybernetics Part C：Applivations and
Reviews, Vol. 34, No. 3, pp. 334-352, 2004.
(2) A. Mittal and L. S. Davis：“M2tracker：A
multi-view approach to segmenting and
tracking people in a cluttered scene using
region-based stereo,”ECCV (1), pp.18-36,
2002．
(3) T. Osawa, X. Wu, K. Sudo, K. Wakabayashi, and
T. Yasuno：“MCMC based Multi-body tracking
using full 3d model of both target and
environment,”AVSS2007, 2007．
(4) T. Osawa, I. Miyagawa, K. Wakabayashi, K.
Arakawa, and T. Yasuno：“3d reconstruction
from an uncalibrated long image sequence,”
IVCNZ2006, pp.473-478, 2006．
監
視
画
像
（左から）若林 佳織/
仮
想
画
像
俯
瞰
画
像
３人の人物が次々と環境に出入りし，書棚により人体が大幅に隠蔽されても
継続追跡している．
図５ 人物追跡実験の結果
20
NTT技術ジャーナル 2007.8
小軍/
大澤 達哉/ 小池 秀樹
凶悪な事件やあってはならない事故が後
を絶ちません．安心・安全そして便利な社
会を実現する賢い映像監視システムの実現
に向けて，今後も人物行動解析技術の研究
開発を推進していきます．
◆問い合わせ先
NTTサイバースペース研究所
画像メディア通信プロジェクト
TEL 046-859-8326
FAX 046-855-1735
E-mail [email protected]