特徴選択に基づく移動物体のマルチロボット分散協調追跡

特徴選択に基づく移動物体のマルチロボット分散協調追跡
163
特徴選択に基づく移動物体のマルチロボット分散協調追跡
*1関　山　浩　介*，*1　*1梅　田　崇　之*1
*1福　田　敏　男*1
Cooperative Distributed Moving Object Tracking by Multiple Robots Based on Feature Selection
,
Kosuke SEKIYAMA* *1, Takayuki UMEDA*1, and Toshio FUKUDA*1
This paper proposes a cooperative visual object tracking by multi-robot system, where robust
cognitive sharing is essential between the robots. However, one of the main issues in vision-based
distributed observation is the significant differences in the background image for the interested object.
According to the observing point of the robot, effective invariant feature to identify the interested object
is different. In this paper, we propose an ambiguity index to select better feature algorithm for object
tracking. Experimental result shows promising result for the effective multi-robot cognitive sharing.
Keywords : Object Tracking, Cognitive Sharing, Feature Selection, Multiple Robots
１．は　じ　め　に
層的不変項知覚モデルというフレームワークを提案す
これまでの自律分散ロボットによる協調タスクに関す
る．不変項は形状であり，色であり，名前であり，関係
る研究では、作業対象の特徴や位置情報等，すなわち本
性であり，それぞれに抽象性のレベルを持っている．ロ
来ロボットの知覚から得られるべき情報は，協調関係に
ボットがこれら不変項を適切に選択するために，つまり
あるロボット同士で事前に共有化されている．従来研究
抽象性の低い不変項を選択するために我々は曖昧度とい
ではランドマーク や RFID を用いてこれらの情報を共
う指標を定義する．曖昧度は変化する環境に応じて算出
[1]
[2]
有している．しかし例えば各ロボットがそれぞれ違うタ
され，それに基づきロボットは適切な不変項を選択す
スクに従事している様な，より一般的な環境では協調関
る．
係は一時的かつ動的であり，共有すべき物体やその情報
実験結果は効果的な特徴選択と，視覚的に変化のある
は場面によって適宜選択する必要がある．
環境においてロバストな物体追跡が行えることを示せ
物体認識に関する研究ではこれまで様々な手法や有効
た．
な特徴量
が提案されているが，各手法や特徴量が有
[3,4,5]
効的に機能するかどうかは各ロボットの視点に大きく依
存しているという問題がある．一方で分散ロボットの協
２．特徴量の評価
2.1. 階層的不変項モデル
調作業において，各ロボットはそれぞれが異なって位置
ロボットにおける相互認知理解とは，様々な不変項を
しているため，同じ物体に対するロボットの視点もそれ
必要に合わせて選択または統合化し共有することと考え
ぞれ異なっている．つまり各ロボットにとって各手法や
られる．そこで我々はロボットの知覚モデルとして，
特徴量の有効性は，認識対象に対する背景パターンに強
図 1 のような階層的不変項知覚モデルを提案する．各不
く依存し，また自身の移動によって動的に変化すると言
変項は上位項程高い抽象性のレベルを持ち，また各階層
える．
を自由に相互参照することが可能である．不変項は大き
そこで我々はある物体をロボットが相互に理解すると
く 4 つに分けられ，それぞれ物体情報，物理的関係，機能
いうことは，ロボット間で適切な不変項を共有すること
的関係，知能となる．本論文では協調物体追跡を題材に
とみなし，よりロバストな共有知覚を実現するために階
共有知覚の実現を目指すため，知能は論理的である．ま
た後の章で扱う機能的関係では協調と追跡，物理的関係
2011 年 2 月 2 日　受理
1*
豊田理化学研究所研究嘱託
*1名古屋大学大学院マイクロナノシステム工学専攻
*1Department of Micro-Nano Systems Engineering, Nagoya University
では追跡対象とランドマークの定量的な位置関係，物体
情報では形状情報と色情報を必要に応じて選択すること
で共有知覚を行い協調物体追跡を行う．またより一般的
特徴選択に基づく移動物体のマルチロボット分散協調追跡
164
な環境では，ロボットの例えば知能は時に共感型であり
・認識対象の面積：Atarget
論理型であり，状況に合わせて様々な不変項を選択する
・対象を円で近似した時の半径： R =
ことになる．
・同色物体の面積：Aobject
また各不変項の有効性を評価する指標を曖昧度と定義
・同色物体を円で近似した時の半径： r =
することにする．本論文では特に色情報と形状情報に焦
・各近似円の中心間距離：L
点を当て，議論を行う．曖昧度は時々刻々と変化する環
・物体間距離：d = L – r – R
Atarget / π
Aobject / π
境に応じて変化し，ある特徴量の曖昧度が低い程、その
環境ではその特徴が物体を認識するのに有効だと評価で
きる．曖昧度によって、自分の周囲の環境を定量的に評
価することが可能であり、他のロボットの曖昧度を通信
によって得られれば、そのロボットの周囲はどのような
環境なのかも類推することが可能である．
Fig. 2. Definition of the distance between objects
次に物体間距離 d が小さい程，発生事象 k が小さくな
るよう定義する．
d < 5 : k= 1
(n
5 · – 1) ≤ d < 10 · n : k = n (2 ≤ n ≤ 19)
95 ≤ d : k = 20
認識対象と同色の物体全てについて d 及び k を求め、
Fig. 1. Hierarchical Invariants Perception Model
発生期待値l を求める．得られたポアソン分布における
2.2.　色に関する曖昧度
k < 6 の累積確率 P を式（3）より求める．ここで予備実験
2.2.1. 曖昧度の定義
Mean-shift 法では領域内のヒストグラムの分布を求
め、その重心へ窓の重心を移動させていく．つまり窓付
近でしか探索を行わない為、対象の近くに同色の物体が
存在すると誤認識が発生する．それゆえ色情報を基にし
た物体認識手法の有効性は，取得画像における対象と同
色物体の存在密度と存在確率によって決まるといえる．
まず取得画像中において対象と同色の色がどの程度分
布しているか，つまり同色物体の存在密度をカラーヒス
トグラムを用いて評価する．対象のカラーヒストグラム
Htarget と画像全体のカラーヒストグラム Hall をそれぞれ正
規化した上で，両者の交差相関を式（2）により求めた
ものを C とする．ここで各ヒストグラムは正規化してあ
るため、C は 0 から 1 の値を取りうる．
C=
Σ min(H
target
において k ≤ 5 において誤認識が良く発生したため経験
的に k = 6 を閾値と定めた．
P=
∫
5
(2)
P(k) dk
0
最後に C と P の相乗平均を求めることで、色に関する
曖昧度 Acolor を定義するが、両者は等価ではないため重み
を与える．なぜなら誤認識が起こるかどうかは認識対象
と同色物体間の距離に大きく依存するため，すなわち P
に大きく寄与するためである．Acolor を（3）で定義する．
曖昧度は 0 から 1 の値を取る．
n
m
Acolor = C n+m ⋅ P n+m , n : m = 1: 3
(3)
2.2.2. 曖昧度の評価
(i), Himage (i))
(1)
i
次に同色物体の存在確率を求める．まず対象から画像
中に存在する各同色物体までの距離分布がポアソン分布
で得られると仮定する．そこで同色の物体間の距離を発
生事象として、得られたポアソン分布から閾値以下の累
積確率を求めることで対象近傍での同色物体の存在確率
を評価できる．まず物体間距離を以下のように定義す
る．図 2 は物体間距離の定義の模式図である．
本セクションでは上記で定義した曖昧度と実際の誤認
識率との関係性を検証する．曖昧度 Acolor = 0–19, 20–39,
40–59, 60–79, 89– となるような場面を理想環境，実環
境 5 種類づつを用意し，計 50 の場面で認識可能かどうか
を実験する．図 3 は実験のスナップショットである．青
いボールが認識対象であり，赤い円がロボットが認識し
ている対象である．灰色の円は対象以外の青い物体を近
似したものである．図 4 の左，中央図では色分布を表す
C も低く，それぞれの同色物体間距離 d も大きく距離評
特徴選択に基づく移動物体のマルチロボット分散協調追跡
価関数 P も低いため，曖昧度 Acolor は低い値を取り認識に
成功している．一方で図 4 の右図では C は大きく変わら
ないが，対象の近くに青い物体が存在しておりそれぞれ
N
Acontour =
∑S
i =1
′
i
165
(6)
N
の d が小さい値を取っているため P は大きく，Acolor も大
きくなり，認識に失敗している．
ただし，入力画像から輪郭が一切得られなかった場
以上のような実験を曖昧度の各値に対して行い，まと
合，また対象と似ている輪郭が存在しない場合，つまり
めたものが図 4 である．横軸に曖昧度，縦軸に認識に成
ある閾値を超えるような S’ を持つ輪郭が存在しない場
功した場面の数を取った．これより曖昧度が 60 を超え
合，輪郭情報では全く認識を行えないことを意味するた
ると誤認識が発生し始め，80 を超えると色特徴量では
め，Acontour = 1 とする．
認識を行えないことがわかる．
2.3.2. 曖昧度の評価
本セクションでは色に関する曖昧度で行ったのと同じ
ように，輪郭に関しても検証を行う．図 5 に実験のス
ナップショットを挙げる．図 5 の左，中央図では曖昧度
も低く，正しく認識をしている．一方で図 5 の右図では
対象と似たような物体が複数あるため，曖昧度が高くま
Fig. 3. Snapshots in Idean and Real Scene
た認識にも失敗している．
実験結果を図 6 に纏める．これらの結果から輪郭の曖
昧度は 40 を超えると誤認識が発生し始め，60 を超える
と輪郭情報による認識が行えなくなることがわかる．こ
れらの実験により，定義した曖昧度の上昇と共に各特徴
量の有効性も薄れることと言える．
Fig. 4. Success Probability: Left is in Ideal Scene, Right is in Real
Scene
2.3. 形状に関する曖昧度
2.3.1.　曖昧度の定義
輪郭情報に基づいた認識手法として，パターンマッチ
Fig. 5. Snapshots in Idean and Real Scene
ングを用いる．マッチングの際に使用する類似度は Hu-
Moment を用いて以下のように定義される．
[6]
t
t
t
i
i
i
mk = sign(hk) · log | hk |
mk = sign(hk) · log | hk |
7
Si =
(4)
Σ |m – m |
t
k
Fig. 6. Success Probability: Left is in Ideal Scene, Right is in Real
i
k
Scene
k=1
上式から得られた類似度 S は，S=0 で完全に一致し，S
が大きいとパターンが乖離していることを意味する．こ
2.4. 特徴選択アルゴリズム
本セクションではロボットが環境に応じて特徴量を選
こで式（4）のようにシグモイド関数を用いて S を S’ 変換
択するアルゴリズムについて論じる．基本的には上記で
することで，完全に一致する場合に S’=1 となる．
定義した曖昧度を比べ，値が低い方の曖昧度を選択す
る．しかし各曖昧度の検証で分かったように，各特徴量
1 S i’ =
–α (S–β )
1 + exp
(5)
α = –15, b = 0.3
S’ を入力画像から得られた全ての輪郭に対して求め，
得られた輪郭の数を N とし，以下の様に曖昧度 Acontour を
定義する．曖昧度は 0 から 1 までの値を取る．
の誤認識が起こり始める曖昧度は同じではない．そこで
経験的に算出した補正として輪郭の曖昧度を 1.2 倍した
ものを新たな曖昧度として計算しなおし，色の曖昧度と
比べることで特徴選択を行う．また曖昧度はフレーム毎
に計算を行い特徴選択を行うが，ロボットは自律移動す
るために曖昧度は激しく変化する場合がある．そのため
に激しく選択する特徴量が変化し，本来ならば認識出来
る環境であっても誤認識を起こしてしまう状況が考えら
特徴選択に基づく移動物体のマルチロボット分散協調追跡
166
れる．また逆に各曖昧度の値が拮抗している場合も選択
理的関係における物体間の位置関係を用いることで解決
特徴量が激しく変化する．それを避けるために以下の 2
出来ると考えられる．本論文ではランドマークに対する
つの処理を行う．
位置関係を用いてこの問題にアプローチする．
・ 直近 10 フレームの各曖昧度を保存し，その平均値
を 11 フレーム目の曖昧度とする．
まずロボットが物体を認識している場合，一定秒数毎
に物体を認識している事を他のロボットに主張する Re-
・ 曖昧度の差が 10 未満の場合，特徴量を変更しない
cogniton Packet を送信する．そのパケットには選択して
これにより曖昧度の激しい変化が抑えられ，それに伴い
いる特徴量の種類，その曖昧度，対象とランドマークの
特徴選択も収束する．
位置関係の 3 つの情報が付加されている．ここで位置関
係とは対象がランドマークに対して左右どちらに存在し
３．通信による共有知覚プロセス
ているか，またそもそもランドマークの近くに存在して
あるロボットが何らかの事情で対象を追跡出来なく
を送信しており，他のロボットから同パケットを受信し
なった時，他のロボットに追跡を依頼する必要がある．
た場合，まず自分と相手の位置関係を考慮した上でそれ
3.1. 物体情報の共有
いない場合を示す．次に自分自身が Recognition Packet
しかし各ロボットの周囲の環境はそれぞれ違っているた
ぞれの対象とランドマークの位置関係に矛盾が生じてい
め，あるロボットにとって有効な特徴量が他のロボット
ないかどうかを確認し次の様な手順で追跡を続行する．
にとって有効であるとは限らない．そこで通信によって
ロボット同士がコミュニケーションを行うことで見え方
の誤差を修正する．例えば対象を追跡中のロボット A が
ロボット B に追跡を依頼する際，ロボットは以下のよう
な手順で見え方の差異を修正しタスクを遂行する．
(1) ロボット A 曖昧度の低い特徴量をパケットとして
ロボット B に送信する．色情報を付加するものを
Color Packet，輪郭情報を付加するものを Contour Packet とする．
(2) ロボット B は受信した特徴量を基に追跡を開始す
CASE 1 位置関係に矛盾がある場合
(1) 自分の曖昧度が他のロボットの曖昧度
より低い場合，自分が追跡を続行する
(2) 自分の曖昧度が他のロボットの曖昧度
より高い場合，自分は周囲を探索する
(3) 両者の曖昧度が拮抗している場合は，
どちらが正しいが判断出来ないので互
いに追跡を続行する
CASE 2 位置関係に矛盾がない場合
(1) 両者の曖昧度が低い場合は，両者が同じ
る．その特徴量の曖昧度が低い場合そのまま追跡
物体を認識しているとして両ロボット
を行うが，曖昧度が高い場合にロボット B は他の
とも追跡を続行する
特徴量をロボット A に Request Packet を送信する
ことによって要求する．
(3) Request Packet を受信したロボット A は送信して
いない特徴量をロボット B に送信する．
(4) 新たな特徴量を得たロボット B はそれらを基に追
跡を再開する．曖昧度が両方とも高い場合も追跡
(2) 両者の曖昧度が高い場合は，おそらく同
じ物体を認識しているとして両ロボッ
トとも追跡を続行する
４．物体追跡をタスクとした共有知覚の実験
4.1. 実験条件
を続行するが，その場合認識している物体が正し
まず実験環境を図 7 に示す．追跡対象は手動で操作す
いか不明という認識の基で追跡を行う．
る移動ロボット上に乗せた青いボールである．またラン
また各パケットを受信すると受信したロボットは An-
ドマークは赤いブロックで既知である．ロボット B，C の
swer Packet を送信し，Answer Packet を受信すると各パ
ケットの送信を停止する .
3.2. 対象同定
複数ロボットで物体追跡を行う場合に対象を同定出来
るかという問題が存在する．対象を追跡しているロボッ
トが 1 台の場合，対象を正しく認識していようがいまい
がそのまま追跡を続行する他はない．しかし複数のロ
ボットが対象を認識している場合，次の 3 つの場合が考
えられる．一つに両ロボット共に正しく物体を認識出来
ている場合，二つに両ロボット共に正しく物体を認識出
来ていない，三つにどちらか一方のロボットが正しく物
体を認識出来ている場合である．この問題を，図 1 の物
Fig. 7. Experimental Environment
特徴選択に基づく移動物体のマルチロボット分散協調追跡
167
Fig. 8. Experimentarl Result: Frame 61
Fig. 9. Experimentarl Result: Frame 269
Fig. 10. Experimentarl Result: Frame 308
Fig. 11. Transition: Robot A
Fig. 12. Transition: Robot B
Fig. 13. Transition: Robot C
特徴選択に基づく移動物体のマルチロボット分散協調追跡
168
５．お　わ　り　に
移動可能範囲の左側では，対象と同色のブロックをダ
ミーとして配置してある．
複数ロボットを用いた協調動作における課題である共
実験手順は以下のようになる．（1）のみ手動で行い，
有知覚に対するアプローチとして，環境における各特徴
（2）以降はロボットが自律的に判断し行動する．
(1) ロボット A の入力画像中で追跡対象を選択するこ
とで対象の色と輪郭に関する情報を得る．
(2) 対象がロボット A の移動範囲内にいる場合ロボッ
ト A は追跡を行う
(3) 対象がロボット A の移動範囲外に移動した場合，
ロボット A はロボット B，C に追跡を依頼する．
(4) ロボット A B C は前セクションで示した手順で情
量の有効性を評価する曖昧度を導入し，それに基づき環
境によって最適な特徴量を選択し認識を可能にするアル
ゴリズムを開発した．さらに複数ロボットによる協調物
体追跡を通した実験により，ロボットの視点の違いから
生じる見え方の差異をコミュニケーションを通じて解消
し，またランドマークと対象の位置関係を用いることで
対象を同定及び追跡が可能であることを示した．
参考文献
報の共有化及び対象の同定を行う．
4.2. 実験結果
[1] L Zhao, R Li, T Zang, L Sun, and X Fan, “A Method of
実験結果の動画から数フレーム切り取ったものを図 8，
Landmark Visual Tracking for Mobile Robot”, Intelligent
9，10，に示す．また各ロボットの曖昧度と選択特徴量の
遷移について図 11，12，13 に，ロボット間の通信のログ
を図 14 に示す．
図 8 では対象がロボット A の追跡範囲外に出た為，他
Robotics and Applications, PTI, Proceedings, volume 5314
ロボットに追跡を依頼する直前であり，この時ロボット
A は色情報を基に追跡しているので Color Packet を送信
した．図 9 においてロボット B は色情報を基に追跡を開
始しようとするが，曖昧度が高いため輪郭情報を要求す
る．しかしロボット B の視点では対象と類似する輪郭が
存在しなかったため，色情報を基に追跡を行っており，
of Lecture Notes in Artificial Intelligence, pp.901-910, (2008).
[2] Tan, K.G, Wasif, A.R., Tan, C.P, “Objects Tracking Utilizing
Square Grid Rfid Reader Antenna Network”, Journal of
Elec­tromagnetic Waves and Applications, Volume 22, pp.2738 (12), (2008)．
[3] P. Tussaubatafan and D. Suter, “Object Tracking in Image
Sequences Using Point Feature”, Pattern Recognittion, 38
(1), pp.105-113, (2005).
[4] A. Yilmaz, “Object Tracking by Asymmetric kernel Mean
Shift with Automatic Scale and Orientation Selection”, in Proc.
ランドマークは対象の右側にあると判断している．一方
IEEE Conference on Computer Vision and Pattern Re­
でロボット C は色情報を基に曖昧度が低い状態で追跡が
cognition, pp.1-6, (2007).
出来ているため輪郭情報を要求せず，またランドマーク
[5] K. Okuma, A. Talegahani, N. de Freitas, J.J. Litle, and D.G.
は対象の右側にあると判断している．ここでロボット
Lowe, “A Boosted Particle Filter: Multitarget Detection and
B，C は互いに Recognition Packet を送信しており，対象
を同定しようと試みる．しかし対象とランドマークの位
置関係に矛盾が生じたため，曖昧度の高いロボット B は
一端追跡をストップし，周囲の探索を開始した．図 10
において，ロボット B は再び対象らしき物体を認識し
た．今回はランドマークは対象の左にありロボット C の
主張と矛盾しないため，また曖昧度も両者低い値で認識
出来ているため，対象の同定が完了したと両ロボットは
主張している．
Tracking”, In ECCV (1), pp.28-39, (2004).
[6] M. Hu, “Visual pattern recognition by moment invariants”，
IRE Transaction on Information Theory, pp.179-187, (1962).
[7] D. Comanisiu, V. Ramesh, and P. Meer, “Real-time tracking
og non-rigid objects using mean shift”, IEEE Computer Vision and Pattern Recognision, vol.2, pp. 142-149, (2000)．
[8] D. Comanisiu, “Mean shift analysis and applications”, IEEE
International Conference on Computer Vision, pp.1197-1203,
(1999)．
[9] K. Fukunaga and L. Hostetler, “The estmation of the gradient of a density function, with applications in pattern recognision”, IEEE Trans. Inf. Theory vol.21, no.1, pp.32-40,
(1975)．
Fig. 14. Communication Log