PDF 0.69MB

遠隔移動ロボットのための Mean-Shift を用いた
ビジュアルサーボの構築及び誘導精度向上に関する研究
Study on Accuracy Improvement of Visual Guidance Control
using Mean-Shift for Mobile Tele-operator
電気電子情報通信工学専攻　仲大輔
Daisuke Naka
1.
はじめに
近年、太陽系の起源、進化の解明等の科学的目的や
将来の商業利用、生活圏の確保に向け、様々な惑星表面
の探査が実施されている [1]。効率的探査実現のため、
ローバ等による広範囲かつ詳細な探査が求められてい
る。自然環境は複雑かつ相似性が強いため認識などの
信頼性が低下し、完全に自律機能に頼ることは難しい。
このため、操縦者による経路指定とシステムの自律性
との協調関係の構築が重要であり、限られた期間で広
い範囲を効率的かつ安全に探査する事が重要な課題と
なっている。この課題に対し、地形的危険度を加味し、
予め設定された複数の短距離走行経路中から指示経路
に近い適当なものを逐次選定する走行方式や、与えら
れてた指示経路を環境データを用いて逐次補正する走
行方式が提案されている [2][3]。これらの方式は、基本
的に計測された地形に対し操縦者が WP(WayPoint) を
設定し、計測誤差や走行時の位置誤差に伴う環境的不
一致を自律機能にてシステムが補償する。この際、一
般に指示経路は、操縦者が映像や科学観測データに基
づき指定し、その後、DEM などの地形モデル上の内部
座標に変換、比較することで自己位置同定データを用
いた経路追従、最終目的地への到達判断が実施される。
しかし、DEM には計測誤差が含まれるため、内部座標
を画像上の目標位置に一致させることは難しく、結果
的に人間の意図した最終目標への到達は保証されない。
さらに、車輪の滑り等により自己位置同定にも誤差が
含まれるため、目標地点到達はさらに困難になる。
以上の課題に対し、本研究では目標設定時に用いた
画像情報を維持し、追従することにより最終目標到達
精度向上を検討している。現在までに提案された画像
追従方式は、主に特徴点情報、3 次元の形状情報、テク
スチャ情報による相関が高い対象を追従する方式が多
い。特徴点を用いた方式では、追従したい物体に対し
特徴点が検出されない場合や、移動により物体のテク
スチャ変化した際に生じる特徴点の消失など、任意物
体の追従やロバストな追従が困難となる。また、３次
元情報を用いた方式は、計測、計算コストが大きくな
り、CPU パワーに制限があるローバでは不利である。
一方、テクスチャ情報を用いた場合は、特徴がなく
とも追従したい物体を画像パターンによって指定でき
るため任意物体の指定が容易であり、２次元情報の照
合となるため計算コストも比較的小さい。特にテクス
チャ情報を色分布の指標に変換し追従する Mean-Shift
アルゴリズムは、背景や物体のテクスチャの変化に比
較的ロバストであるため移動に伴うテクスチャ変化に
も有効である [4]。しかし、自然対象は、特徴に乏しく、
色分布に大きな偏りが発生することが多いため、ロバ
スト性の低下が懸念される。さらに移動中の対象追従
に適応する際、スケール変化に対するロバスト性、オ
クルージョン判定及び回復処理などの問題が存在する。
以上より、本論文では、色分布の偏り、対象のスケー
ル変化やオクルージョン問題に対し議論し、Mean-Shift
アルゴリズムによる複数の移動対象追従の構築を行う。
(a) Original Image
(b) Conventional Method
Fig.1 Gradation Select(Conventional Method)
色分布の偏りの問題に対しては Mean-Shift アルゴリズ
ムにテンプレート単位での階調分割を導入し、特徴色
を保持した階調の生成を行う。また、オクルージョン問
題に対しては相関係数の形状を見ることにより検出を
行う。さらに、スケール変化に対しては平坦なカーネ
ルを用いる事でロバストなスケール選定を実現し、実
験によりこれらの有効性を確認する。
2.
Mean-Shift アルゴリズムの課題
Mean-Shift アルゴリズムは、追従物体が照明変化や
形状変化によりテクスチャが変化する問題に対し、画像
全体の色階調を落とし感度を下げることで、ロバスト
性を確保し、同時に計算コストを削減している。具体的
には、時刻 t の画像 (Fig.1(a)) において、m 個の階調に
qu と
分割された画像 (Fig.1(b)) の追従物体の色分布を
Pm
し、目標色分布は q = {qu }u=1...m 、 u=1 qu = 1 の状
態ベクトルを持つものとして表す。同様に、時刻 t + 1
の画像のある位置 y = [x, y]T における目標候補色分布
Pm
pu (y) は p(y) = {pu (y)}u=1...m 、 u=1 pu (y) = 1 と
なる。ここで、目標色分布と位置 y における目標候補
色分布の相関係数 ρ は式 (1) のように定義される。
m
X
p
ρ ≡ ρ [p (y) , q] =
pu (y) qu
(1)
u=1
Mean-Shift アルゴリズムは時刻 t + 1 の画像における相
関係数 ρ が最大となる位置 y を山登り計算により探索
する手法である。ここで、Fig.1 の領域 1 に対し画像全
体の相関係数 ρ(白:0.0, 黒:1.0) を求めると Fig2.(a) の
ようになる。物体と背景の色差の小さい領域 1 では相
関値が最大値となる場所が多くの点で検出される。こ
れは、画像全体の階調を落とすことにより、物体の特
徴色が失われるため (Fig.1(b)) 各階調 u の色分布に偏
りが生じ、物体を判断するための情報が極端に欠如す
るため生じる。その結果、物体とそうでない領域を判
別することが困難になり、相関の最大となる位置を一
点に絞ることができなくなる。さらに相関の最大値検
出が困難であると、山登り計算の過程で物体の位置 y
が局所解に陥ってしまう可能性もあるため、追従に失
敗する事が懸念される。従って、従来手法である画像
全体での階調分割では、自然環境物体への対応は困難
となる。よって、自然環境における追従においては画
(a) Conventional Method
(b) Proposed Method
Fig.2 Correlative Surface
像全体で階調分割を行うのではなく、テンプレート単
位で階調分割を行い、特徴色を保持した、色分布に偏
りが生じない階調の生成が必要である。
2·1 テンプレート単位での階調分割の導入
従来の Mean-Shift アルゴリズムにテンプレート単
位での階調分割を導入し、追従精度を上げることを検
討する。テンプレート単位での階調分割を導入ること
で、色分布生成に必要なヒストグラムの範囲を限定す
ることができる。その結果、階調分割時に、物体の特
徴色成分をより細かく分割することが可能となるため、
特徴色を保存した階調の生成を行うことが可能となる。
また、自然環境は、大きく色目が入っている物体の存
在は考えにくく、指示されたテンプレートは、同一色
の物体及び背景の情報が入った物と考えることができ
る。よって、これらを分離することで物体の特徴色を
より顕著にすることが可能となるため、物体の相関係
数に対する感度を向上させることが可能となる。一方
で、物体の色分布の偏りが少なくなる階調を生成した
際、各階調に分布するための閾値を保存しておくこと
が必要となるが、これらも物体の特徴パラメータとみ
なすことができるため、テンプレート情報をより有効
に活用する事が可能となる。これらの操作により、従
来手法である画像全体の階調分割では対応できなかっ
た自然環境物体においても、Mean-Shift アルゴリズム
を用いてロバストな追従が可能となる。
2·1.1 物体の特徴色の抽出
目標と背景を分離するにあたり境界となる閾値選定
が最も困難な課題となる。しかし、目標物体の位置及び
その範囲が操縦者により指定されると想定すると、指
定されたテンプレート領域のヒストグラムは背景と物
体の２つのクラスが混在するものと予想される。よっ
て、閾値を決定するという問題は二つのクラス間分散
を最大にする値を見つけるという問題に置き換えられ
る。本稿ではクラス間の閾値 thbg を求めるのに、予め
既知のパラメータを使用しない判別分析法を用いる。
ヒストグラムを濃淡値 k において二つのクラス C0
、C1 に分けるとすると、それぞれのクラスの発生確率
ω0 、ω1 と、平均値 μ0 、μ1 を用いて二つのクラス間分散
は次のようにして求められる。
2
2
σ 2 (k) = ω0 (μ0 − μ) + ω1 (μ1 − μ)
(2)
式 (2) を用いて、テンプレート領域ヒストグラムの σ 2 (k)
が最大になるような k を閾値 thbg = k として決定す
る。さらに、物体領域を求めるため、目標物体のテン
プレート範囲 h に対し、中心位置から h/4 の範囲にお
いて閾値 (thbg ) 以下または以上のテクスチャのどちら
が多いかを走査し、物体領域の範囲を求める。この走
査により物体と背景領域の色を完全に分離することが
可能となる。
2·1.2 物体の特徴色を用いた階調分割
ここでは、式 (2) により求められた thbg を用いて物
体領域のみを HistgramEqualization(以下 HE 法) を
用いて各階調に均等に配布することを検討する。HE 法
は画像中の画素の階調分布を広げると共に、各階調の
分布ほぼ等しい値にする濃度補正法である。HE 法を
用いて濃度補正する際、各階調に色を配布する閾値は
特徴パラメータとなるため以下の手順で保存する。
まず、各階調おける画素量の目標値 B を、thbg によ
り分離された特徴色ヒストグラムの全体量 Hob を分割
したい階調の個数 m で割り算出する。そして、各階調
にテンプレートの色を配布するための閾値 Bth (n) = k
を式 (3) により決定する。n = 1...m + 1 である。また、
Hu は色 u の画素量である。
(
Pk
B · (n − 1) ≤ u=0 Hu < B · n, if 0 ≤ Hob < thbg
P
B · (n − 1) ≤ ku=thbg Hu < B · n, if thbg ≤ Hob < 256
(3)
ここで、式 (3) により求められた閾値 Bth (n) を基に階
調分割を行った新たな階調を u0 とすると、特徴色が各
階調に均等に配布された目標色分布 qu0 は新たに式 (4)
と定義できる。ここで、b0 (xi ) はある位置 xi の画素の
階調番号、nh は探査範囲、E は Epanechnikov カーネ
ル、Cq は正規化係数である。
nh
X
¢
¡
qu0 = Cq
E kxi k2 δ [b0 (xi ) − u0 ]
(4)
i=1
同様にして位置 y における目標候補色分布 pu0 (y) は式
(5) と定義できる。
ð
° !
n
X
° y − xi ° 2
0
0
°
pu0 (y) = Cp
E °
° h ° δ [b (xi ) − u ] (5)
i=1
以上に述べた提案手法を Fig.1(a) に適用すると Fig.2(b)
となり、物体のみの相関値が局所的に高くなっている
ことが確認でき、自然環境における提案手法の有効性
が確認できる。
3.
物体追従システムの課題
本章ではローバに追従機能を実装した際に生じる問
題点について議論を行う。走行中、追従物体のテクス
チャはローバの移動による物体の形状変化や、太陽光
による照明の変化により時々刻々と変化するため、各
階調に格納するための閾値及び目標色分布を変化させ
る必要がある。また、追従過程において物体が重なり
合う場合など、テンプレートを更新すべきでない場合
の対策も必要である。従って第一に、テンプレートの
更新及びオクルージョン判定が課題として挙げられる。
さらに、ローバの移動により目標物体はカメラとの距
離によって大きさが変化するため、対象のサイズは変
化しており、最適なテンプレートサイズを導出する必
要がある。従来の研究においては、十分小さな間隔で
得られた時系列画像では、被写体のサイズが大きく変
化することはないと仮定に基づき、± 10 ％、0 ％など
一定倍率の候補をを設定し、最も相関値が高くなった
ものを採用する方式が提案されている [4]。しかし、自
然対象の場合、相似性が強いため、一定のスケール変
化を加味しても高い相関が得られる可能性が高い。特
に自己相似性の観点からテンプレート内部における相
関は一般に高く、小さい方へ進む傾向がある。加えて
ローバでは、計算機リソースなどの制約により前述の
仮定に対し、画像取得間隔を十分小さくすることが保
証できない場合も懸念されるため、一定の倍率を仮定
することが難しい。よって第二にスケール変化への対
応が課題として挙げられる。本章ではこれらの課題に
ついて議論を行い対応策について提案を行う。
3·1
テンプレート更新及びオクルージョン検出手法
3·1.1 オクルージョンの検出
従来の Mean-Shift を用いた追従方式では、追従対象
にオクルージョンが生じた場合、高い相関値が得られ
(a) Occlusion Image
(b) Without Scale Change
(c) Conventional Method
(d) Proposed Method
(b) Correlative Surface
Fig.3 Typical Behavior of the Unmodified Algorithm
in the Presence of Occlusions
Fig.4 Sample Points for Occlusionb Evaluation
ず、ピーク値に収束するまでに時間を要することより
ループ回数をチェックすることでオクルージョン検出を
行ってきた [4]。しかし、自然対象物は類似性、自己相
似性が強いため、対象が隠れた場合も、何らかに収束
することが多い、このためループ回数による判定は現
実的ではない。ここで、Fig.3 に移動時に発生するオク
ルージョン状態の例を示す。120 フレーム時の相関曲面
が、完全にオクルージョン状態に入った際には、大き
く乱れていることが確認できる。すなわち移動時に発
生するオクルージョン問題では、対象外縁部から序々
に遮蔽されるため、外縁部から他成分が混入し始める。
このため、各点の相関係数にて構成される相関曲面は、
外周部から大きく変化し始めることになる。本研究で
は、この変化検知することでオクルージョン状態を判
別する。しかし、画像全体に対して相関係数、すなわ
ち相関曲面を導出することは、計算コストが増加する
ため、ここでは Fig.4 に示す様に対象中心を囲む 8 つの
代表点を設定し、各点の相関係数を比較することで一
定以上の誤差が生じた場合オクルージョンと判定する。
3·1.2
(a) Initial Frame
オクルージョンを考慮したテンプレート更新ア
ルゴリズム
時刻 t の目標色分布を q(t,u0 ) とし、代表点 N の位置
を y0(t,N ) と置くと代表点の色分布は p(t,u0 ) (y0(t,N ) ) と定
義できる。よって時刻 t,t-1 における各代表点の相関誤
差 ErrN は式 (6) により求まる。
¯
m ¯q
X
¯
ErrN =
¯ p(t,u0 ) (y0(t,N ) )q(t,u0 ) − ¯
¯
0
u =1
¯
q
¯
0
p(t−1,u0 ) (y(t−1,N ) )q(t−1,u0 ) ¯ (6)
¯
条件式 (7) に従い、時刻 t のテンプレートを更新するか
しないか、オクルージョンと判定するかを定める。こ
こで thoc はオクルージョン判定の閾値 、thup は更新
判定の閾値である。
Fig.5 Scale Change
⎧
no
−
update thup ≤ ErrN ≤ thoc
⎪
⎨
Status =
occlusion thoc < ErrN (7)
⎪
⎩
update otherwise
3·2 テンプレートのスケール決定
自然環境中の物体に対し、スケールを変更して相関
係数 ρ を求めるとテンプレートが小さい時、相関係数
が大きくなりやすい原因は追従物体の自己相似性の強
さ、及び各テクスチャに重み付けをする際に使用する
Enanechnikov カーネルにある。物体のスケールが誤
差などにより一度小さくなると背景領域の情報が少なる
のに対し、物体の情報が支配的になるため、それ以降の
フレームではスケールを大きくすることができずスケー
ルが小さくなることを抑制できなくなる (Fig.5(c))。一
方、Epanechnikov カーネルは物体の中心付近では重
みを大きく、外側にいくにつれて重みを弱くする性質を
持つ。このカーネルは相関曲線を山型にするための重
み付けに用いられるが、スケール選定においては背景
領域の相関係数への影響を低減してしまうためスケー
ルが小さくなるのを助長してしまう。従って、相関係
数を用いて最適なスケールを求めるためには背景情報
の感度を上げることがが重要な課題となる。
3·2.1 背景情報を用いたテンプレートのスケール決定
2 章では物体の特徴色を保持するために物体の特徴色
のみを用いて階調の作成を行った。一方で、スケール選
定においては背景情報が重要となるため、背景情報を
持つ新たな階調の生成が必要となる。そこで、テンプ
レートの全体の画素量を背景領域を含む分割したい階
調の個数 ms で割り各階調における画素量の目標値 Bs
を算出し、各階調に格納するための閾値 Bsth (n) = k
を式 (8) によりスケール特徴パラメータとして求める。
n = 1...ms + 1 である。また、Hu は色 u の画素量で
ある。
k
X
Bs · (n − 1) ≤
Hu < Bs · n
(8)
u=0
次に、相関係数 ρ に対して背景領域の感度を上げるた
め式 (8) により求められた閾値 Bsth (n) を用いて、重
み付けのカーネルを使用しない式 (9) によりスケール
目標色分布 qus を算出する。ここで、us はスケール色
分布における新たな階調、bs (xi ) はある位置 xi におけ
るスケール色分布の階調番号、nσ0 は前フレームでの
テンプレートサイズにおける探査範囲、Nσ0 はスケー
ルが σ0 の時の全画素数である。
nσ
1 X0
qus =
δ [bs (xi ) − us ]
(9)
Nσ0
i=1
Fig.7 Compare Precision of Tracking with Encoder
(Fig.5(d)) はスケールが変化した場合に対して適正な
スケール選定がされており提案手法の有効性を確認で
きる。
(a) Field Image
4.
(b) Tracking Image
Fig.6 Experiment for Target Tracking
ここで、詳細なスケール選定を行うため式 (10) により
大小様々なスケール候補の設定を行う。nlimit はスケー
ル変化を抑制する定数、a は a > 1 となる底、σs は s
の時のスケールの大きさである。
σs = σ0 ∗ as , f or − nlimit ≤ s ≤ nlimit
(10)
式 (11) を用いてスケールの目標候補色分布 p(σs ,us ) を
算出する。nσs は式 (10) により求められたテンプレー
トサイズにおける探査範囲であり、Nσs はスケールが
σs の時の全画素数である。
nσ
1 Xs
p(σs ,us ) =
δ [bs (xi ) − us ]
(11)
Nσs
i=1
各スケールに対する相関係数 ρσs (y) は式 (12) により
求められる。
ms
X
√
ρσs =
p(σs ,us ) qus
(12)
us =1
以下に示す流れで、シフトベクトル及びスケールの最
適値を決定する。
1. 追跡対象の位置と形状を指定する.
2. 追跡対象の目標色分布 qu0 及びスケール色分布 qus
を計算する.
3. 1. の座標を中心として目標候補色分布 pu0 (y) を
計算する.
4. 2. シフトベクトルを計算し，山登り計算によって
相関係数 ρ が大きくなる方向にウインドウを移動
させる.
5. 式 (10) を用いて様々なスケールで目標候補スケー
ル色分布 p(σs ,us ) を算出し、スケール相関係数 ρσs
が最大になる σs を計算する.
6. シフトベクトル及びスケールが設定された収束条
件を満たすまで繰り返す．
7. テンプレート更新判定を行い, テンプレート更新を
行う時は目標色分布 qu0 , 閾値 Bth (n), スケール色
分布 qus , 閾値 Bsth (n) 更新する.
以上に述べた提案手法と、± 10 ％,0 ％で最も相関
値が高くなったものを新しいスケールと決定した場合
との比較を Fig.5 に示す。従来手法 Fig.5(c) はテンプ
レートサイズが小さくなり追従ミスをしたが提案手法
実験及び評価
実験では時系列画像の取得に IEEE カメラ (320 ×
240pixel,10 frame/sec) を使用し、計算には Let’s Note
R6(Pentium M 1.2GHz、メモリ 768Mbyte) を用いた。
また、実験機として探査ローバ Micro5 を用いた。
4·1 視覚誘導移動制御実験
視覚誘導移動制御実験では、カメラのティルト角を
45 °に設定し、画像の追従は右カメラにより行う。右
画像により目標を追従した後、カメラ目標間の距離を
ステレオ視により算出する。制御手法は、右画像の中
心を (0,0) として、目標の座標と右画像中心座標の許容
誤差を左右 15pixel 与え、許容誤差を超えた場合は車体
を左右に回転させる。また、目標ローバ間の最終的な
距離を 1000mm に設定し、前後± 100mm の許容誤差
を与え PID 制御により移動を行う。実験環境の様子を
Fig.6(a) に目標の追従画像を Fig.6(b) に示す。Fig.6(b)
より目標の形状及びスケールが変化しても、安定した追
従が行われているのが確認できる。また、実験において
エンコーダの値とステレオ視により算出された距離の
比較を Fig.7 に示す。エンコーダの値は目標を 1000mm
以上オーバーしているがステレオ視の値は 1067mm で
あり、目標ローバ間の実測値は 1050mm であったこと
から提案する追従手法の不整地走行における視覚誘導
移動制御の有効性が確認できる。
5.
まとめ及び今後の課題
本稿では、ローバの安全かつ効率的な探査のために
Mean-Shift アルゴリズムを用いた物体追従について検
討を行い、テクスチャが一様な自然物体に適用するた
めテンプレート単位での階調分割を導入し、物体の特
徴色を用いることで、追従におけるロバスト性の向上
を実現した。また、走行課程で課題となるオクルージョ
ン対応及びテンプレート更新、及びスケール変化への
対応手法について提案し、実機による実験にて有効性
を確認した。今後の課題としてオクルージョン検出後
の処理、様々な環境下での提案手法の評価、及び野外
での追従実験が挙げられる。
[1] http://www.isas.ac.jp/j/index.shtml
[2] 國井康晴, 森山誠: “不整地走行用移動ロボットのた
めの遠隔操縦システム”, 第２１回日本ロボット学会
講演会
[3] Issa A.D. Nesnas: ”Visual Target Tracking for
Rover-based Planetary Exploration”, IEEEAC,
pp.1392,2003
[4] Dorin Comaniciu:
”Real-Time Tracking of
Non-Rigid Objects using Mean Shift”, IEEE
CVPR,2000