Comments
Description
Transcript
再帰型画像処理機構を用いた移動ロボットの視覚誘導
再帰型画像処理機構を用いた移動ロボット の視覚誘導 Visual Guidance of Mobile Robots via Recursive Image Processing Mechanism1 亀島鉱二 小川優理子 中野善之 Kohji Kamejima, Yuriko C. Ogawa and Yoshiyuki Nakano 日立製作所 機械研究所( 茨城県 土浦市 神立町 502) Mechanical Engineering Research Laboratory, Hitachi, Ltd. 502 Kandatsu Tsuchiura Ibaraki 300 JAPAN Abstract: A recursive algorithm is presented for visual guidance of mobile robots. A kinetics concept is invoked in the image plane to match predicted and observed patterns through the successive update of the guidance signal, i.e., the steering and acceleration of vehicle mechanisms. The 2D diffusion equation is solved for evaluating the attractive force between observed and predicted patterns. The gradient vector field of the solution to the 2D diffusion equation is integrated on the predicted pattern to generate the guidance signal. Through a series of experiments the proposed method is demonstrated to drive the vehicle mechanism at a practical speed. Keywords: Visual guidance; Recursive algorithm; Image processing; Computer vision; Mobile robot Table of Contents 1 2 3 4 5 6 緒言 誘導信号計算の原理 再帰型誘導信号計算機構 実験 検討 結言 1 日本ロボット学会誌, Vol.5, No.5, (1987), pp.343-350. 2 2 5 7 8 11 2 再帰型画像処理機構を用いた移動ロボットの視覚誘導 1 緒言 複雑な環境内で,状況の変化にダ イナミックに対応して自律的に行動することは,知能ロボットに要求され る基本的な機能である.このような高度な環境適応能力を備えたロボットの制御システムを開発するため には,周囲の物体と自己の位置関係を常に認識し ,移動機構をなめらかに操作する自己誘導技術を確立す ることが必要である. さて,ロボットの自己位置を計算するためには,移動のための目標物体を事前に設定し,移動体に搭載 した TV カメラなどの外界センサを用いてその物体までの距離を時々刻々計測すればよい.また,移動機 構を操作するためには,自己位置の計測値と地図の中にあらかじめ設定した移動経路とを照合し ,得られ た時々刻々の位置ずれにもとづいて操舵角,加速度などを計算すればよい.したがって,移動ロボットを経 路に沿って誘導するためには,図 1 に示すような認識−計画ア−キテクチュアにもとづいて制御系を構成 すればよいように思われる. しかし,このような位置計測と経路計画をシリアルに行なう方法は,次の理由で問題が多い: 1. 誘導のためには,計画経路からのずれが評価できれば十分であるにもかかわらず,一度絶対位置を求 めた後に偏差を計算するという処理方式になっている. 2. 通常の状況で物体までの距離を求めるには,移動にともなう物体像の変化のみを検出すればよいにも かかわらず,同一物体の認識を繰り返し行なうことになる. 3. 本制御系自体には,なめらかな経路を生成する機能が埋め込まれていない.したがって,安定な機構 動作を保障するためには,位置の計測結果を誘導信号に変換する過程で,計画経路に漸近する誘導経 路を発生するなどの処理を付加する必要がある. たがって,図 1 に示す構造の計測−制御系を用いて実用的な速度で移動体を誘導することは,容易ではない. ところで,人間は,与えられた刺激を一旦集約し,外界のモデルを構築した上で外界からの刺激に対す る予見を行ない,必要なレベルの信号を取り出すという効率のよい情報処理を行なうとされてれている [8]. このことは,事前に周囲の物体配置に関する情報が得られている場合には,外界センサ情報に対する予測 を行なうことにより効率のよい誘導信号の計算が可能であることを示唆しているように思われる. 本研究は,このような観点から,原子力施設,工場,オフィスビルなど ,主要な物体の形状ならびに配 置状況が概略既知の建屋内を自律的に移動するロボットを対象に,視覚を利用した自己誘導システムの設 計問題を考察したものである.本稿では誘導信号計算の原理,計算メカニズムならびに実験による検証結 果について述べる. 2 誘導信号計算の原理 以下,移動のための目標物体の輪郭は次式により定められるエッジパタ−ンとして観測されるものとする: { } ¯ fm = s ∈ Σ ¯ |∆f (s)| ≥ µ , (1) ただし, fm : エッジパタ−ン Environment Model Recognition Image Processor Planning Image Disparity Evaluator Actuator Controller Image Sensor Actuator Figure 1: Autonomous Mobile Robot Navigator with Recognition-Planning Architecture 3 再帰型画像処理機構を用いた移動ロボットの視覚誘導 Target Object Planned Route y x Current Location Figure 2: Guidance Parameter Σ: 画面 f : 明暗分布 ∆: 二次元ラプラシアン µ: いき値 である.議論を単純にするために,外界は移動体に固定された TV カメラにより常時観測されるものとし よう.このとき,移動目標物体の輪郭像のクラスは次のように表現される: Ξ = { M [θ; o∗ ], o∗ ∈ O, θ ∈ Θ } (2) ここに, Ξ: 輪郭像のクラス o∗ : 現在の移動目標物体 O: 移動目標として利用可能な物体の全体 θ: 物体までの距離 y とル−トからのずれ x から構成される移動パラメ−タ,すなわち,θ = [x, y]T ( 図 2 参照). Θ: 移動パラメ−タの全体 M [θ; o∗ ]: 物体 o∗ の輪郭を,パラメ−タ θ で特徴づけられる結像条件で透視投影変換して得られたイメ− ジ,すなわち予測パタ−ン である.ここで,実際に観測されたエッジパタ−ンは次のように表わされるものとしよう: fm = M [θ∗ ; o∗ ] + (noise), (3) ただし, θ∗ : 観測時点での移動パラメ−タ とする.また,何らかの方法で,移動目標物体が事前に特定されているものと仮定しよう.このときには,移 動体の制御問題は,式 (2) で記述される事前の知識および式 (1) で与えられる観測結果にもとづいて,式 (3) を充たす移動パラメ−タを推定することに帰着する. この点に着目して本論文では,誘導信号の生成を,次式を充たす誘導汎関数を求める問題として定式化 する: dθ(t) = π [fr (θ), fm ] , dt fr (θ) = M [θ(t), o∗ ] , lim fr (θ) = M [θ∗ , o∗ ] t→∞ ただし, π: 誘導汎関数 (4a) (4b) (4c) 4 再帰型画像処理機構を用いた移動ロボットの視覚誘導 (a) (b) Figure 3: Mental Interaction Between Two Figures Two similar figures evoke different interactions, attraction(a) and separation(b), in accordance with mutual distance. θ(t): 時刻 t における移動パラメ−タの計画値. fr (θ): 移動パラメ−タ θ(t) に関する予測パタ−ン である.式 (4) の方式は,誘導信号を移動パラメ−タの変化として直接計算する点,高度な認識を必要とせ ず,図形情報 fr , fm のみを用いて計算可能な点,更に誘導信号が微分方程式の解過程としてなめらかに生 成される点で移動視覚として好ましい性質を持つものである. 今,観測画像内での目標物体の認識が完了しており,目標物体のエッジパタ−ンと予測パタ−ンの対応 付けが可能であるとしよう.この場合には誘導汎関数は次のように定めることができる: ] ∫ [ ∂q π [fr (θ), fm ] = −γ qds, γ > 0, (5) ∂θ Σ ここで, q: fr (θ) と fm の対応点を結んで得られるベクトル場,すなわち,オプティカルフロ− を表わす.式 (4a) および (5) で生成される誘導信号が式 (4b) を充たすことは容易に確かめることができ る.実際エッジパタ−ンと予測パタ−ンの画像差を次のノルムで評価し ∫ 1 q 2 ds, (6) Nq [θ] = 2 Σ Nq : 画像差ノルム 式 (4a), (5) で計算される経路に沿って視点の移動を行 なった場合の画像ノルムの時間的変化を計算する と,次式が得られる: ] [ ] ∫ [ dNq [θ] ∂q dθ = q ds · dt ∂θ dt Σ [∫ [ ] ]2 ∂q = −γ q ds ≤ 0, (7) ∂θ Σ すなわち,式 (5) の誘導汎関数にもとづいて生成される移動経路は,計画経路に収束する.ただし,式 (5) の計算にはオプティカルフロ−およびその移動パラメ−タに関する感度を必要とする.ここで,オプティ カルフロ−を求めるためには,膨大な計算をともなう対応点の決定が必要であることを考慮すると,式 (5) の誘導汎関数をそのままま用いるのは実際的ではない. さて,近年の認知心理学上の知見によれば,同一視野内に類似形状を有する図形を認めた場合,人間は, 図形間の距離に応じてさまざ まな反応を示すとされている [1].この点を考慮して,本研究では,画面内に 力学モデル [3] を導入し ,エッジパタ−ンと予測パタ−ンのずれを評価することにより,オプティカルフ ロ−の計算を必要としない誘導汎関数を求めることを試みる.まず,図 3 に示す反応のモデルとして,次 の三条件を満 足するパタ−ン間引力を導入する: ただし, Φ: パタ−ン間引力 C-1: Φ[f1 .f2 ] ≥ 0, for any f1 , f2 ∈ Ξ, C-2: C-3: Φ[f1 .f2 ] = Φ[f2 .f1 ], Φ[f1 .f2 ] ≤ Φ[f1 .f20 ], if ρ[f1 .f20 ] ≤ ρ[f1 .f2 ] 5 再帰型画像処理機構を用いた移動ロボットの視覚誘導 ρ: クラス Ξ における距離関数 とする.上記三条件を充たすものとして,本論文では次式で表わされる Newton 引力を考える.このとき, 微小な点状のパタ−ン間に作用する引力は次式で計算することができる: 1 , d2 = ρ[f1 .f2 ]. Φ[f1 .f2 ] = d 一般形状のパタ−ンに対しては,式 (8) のパタ−ン間引力は次のように計算される: ∫ Φ[f1 .f2 ] = Ψ[f1 .f2 ](s)ds, (8a) (8b) (9a) Σ Ψ[f1 .f2 ](s) = χ[f2 ]∇φ0 (s), ∆φ0 + χ[f1 ] = 0, φ0 [s] = 0, s 6∈ Σ (9b) (9c) (9d) ここに, Ψ: 引力ベクトル場 φ0 : ポテンシャル ∇: 勾配作用素 χ: 集合の定義関数 である.この引力ベクトル場をオプティカルフロ−に置き換えることにより,式 (5) の誘導汎関数を構成す ることが可能となる.以下,次章では,引力ベクトル場を効率よく計算し,誘導信号に変換するメカニズム として誘導汎関数を具体的に求める. 3 再帰型誘導信号計算機構 一般に,移動体を誘導する場合には,途中地点での自己位置は必ずしも正確に求める必要はない.むしろ不 必要な加減速を避ける意味からも,計画経路からのずれを素早く検出し ,操舵量や加減速量の変化に変換 することが望ましい.更に,このとき,機構制御系との接続を考慮すると,誘導信号は画像が入力される度 にモ−タの回転数などを少しずつ変化させる,逐次近似型アルゴ リズムで計算することが好ましい.この 点に着目して,本章では,再帰型の誘導信号計算アルゴ リズムを求める. まず楕円型偏微分方程式 (9c) の解が放物型偏微分方程式の定常解として表現されることに着目して引 力ベクトル場の計算を次式に置き換える: dφ = ∆φ + χ[fr (θ)], dt Ψ(s) = χ[fm ]∇φ(s), (10a) (10b) ついで,誘導信号計算の中での物体配置の変化を無視して,式 (6) におけるオプティカルフロ−の移動パラ メ−タに関する感度を自己運動により生じるオプティカルフロ−と同一構造を有する係数マトリクス for s2 > s∗2 , diag[−λ1 , λ2 ]; Ω(s) = (11) diag[−λ1 , 0]; for s2 = s∗2 , ∗ diag[−λ1 , −λ2 ]; for s2 < s2 , Ω: 係数マトリクス, DIAG[(·), (·)]: 対角行列, λ1 , λ2 : 正定数, s2 : 画面内の水平座標, s∗2 : 光軸投影像の水平座標, 6 再帰型画像処理機構を用いた移動ロボットの視覚誘導 に置き換える.このとき,式 (11) で与えられる係数マトリクスに対して正定数 κ が存在し,次の関係が成 立することに着目すれば, [ ] ∂q(s) a(s) = Ω(s), 0 < κ < a(s), (12) ∂θ 次式で表わされる計算機構は計画経路に沿って移動体を走行させるための誘導信号を生成することになる: dθ dt = π [Ψ] , ∫ Ω(s)Ψ(s)ds. π [Ψ] = − (13a) (13b) Σ 実際,エッジパタ−ンと予測パタ−ンの差を次の非負定値汎関数 Nφ で評価し, ∫ [ ] a(s)χm φ0m − φθ ds, Nφ [θ(t)] = (14a) Σ ∆φ0m χm + χm dφθ dt = χ [fm ] , = 0, (14b) (14c) = ∆φθ + χ [fr (θ)] , (14d) 式 (13) で定まる信号を用いて誘導を行なった場合の Nφ の時間的変化を計算すると次式が得られる: [ ] [ ] ∫ dNφ [θ(t)] dφθ dθ = − a(s)χm · ds dt dθ dt Σ [∫ [ ] ] ∂q(s) dθ =− a(s)χm ∇φs ds ∂θ dt [∫Σ [ ] ] [∫ ] ∂q(s) =− a(s)χm ∇φs ds · χm Ω(s)∇φθ (s)ds . (15) ∂θ Σ Σ ここで,式 (12) より次式が成立することに注意すれば ] [ ∫ ∫ ∂q(s) ∇φs ds, χm Ω(s)∇φθ (s)ds = a(s)χm ∂θ Σ Σ (16) 次の不等式が得られる: [∫ dNφ [θ(t)] dt ]2 ≤ − a(s)χm ∇φθ (s)ds ≤ 0. (17) Σ ここで,拡散方程式 (14d) の解が入力に関して一意に定まり,かつ,入力位置でのみ最大値を取ることに注 意すると次の関係が確かめられる: Nφ [θ(t)] > 0, Nφ [θ] = 0, (18a) ∗ if and only if θ = θ . (18b) 式 (17) および式 (18) は,汎関数 Nφ [θ(t)] がリアプノフ関数 [6] となることを示している.これより,誘導 経路の計画経路への収束性は明らかである. 注意−1: 係数マトリクス Ω(s) の決定方法を考える.議論を簡単にするために,TV カメラの前方にド ッ トパタ−ンの描かれた壁が置かれているものとする (図 4 参照).本図は,画面がオプティカルフロ−の方 向に関して分割されること,およびその分割はレンズの光軸の画面への写像 s∗ のみにより定められること を意味する.したがって係数マトリクス Ω(s) は移動目標物体の位置および大きさに無関係に定めることが できる.実際,式 (11) に示す単純な係数マトリクスが式 (12) の関係を満足することは明らからかである. とくに,光軸より下側に存在する物体を移動目標として利用する場合には,係数マトリクスは,つぎの定数 マトリクスに取ればよい: θ(s) = diag [−λ1 , −λ2 ] , (19) 式 (11) あるいは (19) に示すように係数マトリクスを定めることは,本章で述べた誘導信号計算を実行する ハ−ド ウエアの単純化を図る上で有効である. 再帰型画像処理機構を用いた移動ロボットの視覚誘導 7 Figure 4: An Example of Image Distortion Caused by View Point Shift The vector field ϕ is structurally stable in the regions which are completely specified by the location of the location of lens axis on the image plane. Figure 5: A Computer System for Mobile Robot Navigation Two micro computers are linked tocontrol the 60Hz visual guidance process. 注意−2: 式 (12) を充たす係数マトリクス Ω(s) は,移動目標物体像近傍でのオプティカルフロ−および 引力ベクトルの性質のみにもとづいて決定される.このような局所性は,移動目標物体以外のさまざ まな “背景物体” が観測画像中に現われる場合でも,本機構は安定な誘導信号を生成することを意味する.この ような耐ノイズ性は,実環境中で行動する移動ロボットに適用する際の,誘導の安定性を保障する上できわ めて有効である. 4 実験 本研究で得られた誘導信号計算機構の有効性を確認する目的で,移動ロボット [7] を用いた走行実験を行 なった. 実験に用いた誘導装置の構成を図 5 に示す.この誘導システムは,Vision System と Navigator から構 成される.Vision System は,外界センサとして TV カメラを用いている.この TV カメラには 162 度の 画角を有する魚眼レンズを装着し ,移動中の振動や動揺にかかわらず目標物体を常に視野内に捉え続ける ようにしている.魚眼レンズを使用したことにより生ずる画像の歪みは,メモリ− (ROM) と加算器により 構成したアドレスシフタ−により補正する.このとき,加算器にアドレスのバイアスを入力することによ り本システムでは,カメラを物理的に動かすことなく,ほぼ人間の前方知覚領域に対応する 162 度画角の 全視野から,歪みを除去したエッジパタ−ンを抽出することができる.このエッジパタ−ンの抽出は 16ms で実行される.また,式 (10)- (13) で表現される再帰型誘導信号生成機構は画像処理専用 LSI [2] を用いた 局所並列型プロセッサおよび 64K バイトのフレ−ムメモリ−により実装されている. 図 6 に,式 (10) の計算を実行するための再帰型画像処理機構のブロック図を示す.一方,Navigator に は,あらかじめ設定された移動目標物体の配置ならびに形状が 3D ワイヤフレ−ムモデルとして記憶されて いる.このワイヤフレ−ムモデルにもとづいて,前方シ−ンの移動目標物体に対する予測パタ−ンが生成さ れる.この予測パタ−ンの生成は,グラフィックディスプレイ制御 LSI を用いて構成した Pattern generator 再帰型画像処理機構を用いた移動ロボットの視覚誘導 8 Figure 6: Hardware Implementation of Recursive Algorithm (10) A potential function is computed for the given reference figure and stored in a memory. In this procedure, the differential operator are implemented by feedback processor and Post Processor, respectively. Figure 7: Environment in Which the Mobile Robot Maneuvers A mobile robot is driven along a corridor, turns on the platform and goes to the door. により実行される. 走行実験の結果の一例を図 7– 11 に示す.図 7 は,走行環境を示す.本実験では,移動目標として,廊 下端,段差およびド アを用いた.図 7– 10 は誘導中のエッジパタ−ンの検出結果ならびに予測パタ−ンと の照合結果を示す.これらの図は,本研究で得られた誘導信号計算機構を用いた場合には,かなりのノイ ズあるいは欠落を含むエッジパタ−ンが得られた場合にも妥当な誘導信号の生成が可能であることを示し ている.このような耐ノイズ性は,事前に完全な地図を作成することが不可能な実環境で動作する移動ロ ボットを誘導する際には不可欠であると思われる. 本誘導機構を用いて移動機構を制御した場合の走行結果と本誘導機構を用いなかった場合の走行結果の 比較を図 11 に示す.図 11 には,視覚誘導を行なった場合の,主要地点での移動機構の姿勢を合わせて表 示してある.本図より,本誘導機構を用いることにより,段差通過,旋回あるいは路面の凹凸などにより生 じる外乱の影響を大幅に軽減可能であるとがわかる. 5 検討 本研究で得られた視覚誘導方式の特徴は,環境モデルにもとづいて外界センサ信号,すなわちエッジパタ− ンの予測を行なうことにある.この結果,本方式にもとづいて設計された移動制御系では,図 12 に示すよ うに,認識−計画レベルより下位の知覚−制御レベルでのフィ−ド バックル−プが構成されることになる. このような,知覚−制御ア−キテクチュア [4] にもとづく制御系では認識および計画の各プロセスは誘 導信号の生成に直接には関与しない.すなわち,式 (10) が示すように,本論文で述べた視覚誘導システム では予測パタ−ンとエッジパタ−ンは拡散方程式を介して動的に結合されることになる.これは,予測パ タ−ンも,誘導信号生成とは非同期に更新可能であることを意味する.実際,計算機シミュレ−ションの結 9 再帰型画像処理機構を用いた移動ロボットの視覚誘導 (a) Scene to be Observed (b) Observed Image(left) and Extracted Edge Pattern(right) Figure 8: Experimental Results of Image Feature Extraction (a) Platform Pattern (b) Door Pattern (1) Figure 9: Experimental Results of Environment Feature Detection -1- Extracted(left) and predicted(right) patterns 10 再帰型画像処理機構を用いた移動ロボットの視覚誘導 (a) Door Pattern (2) (b) Corridor Pattern Figure 10: Experimental Results of Environment Feature Detection -2- Extracted(left) and predicted(right) patterns Figure 11: Experimental Results of Mobile Robot Navigation The navigated path is compared with a guidance free path. Environment Model Recognition Planning Process Process Image Processor Actuator Controller Image Sensor Actuator Figure 12: Autonomous Mobile Robot Navigator with Perception - Control Architecture 果によると,予測パタ−ンは誘導信号の生成速度に比べてかなり低速で,かつ,間欠的に行なえば十分で あることが示されている [9]. このシミュレ−ション結果は,また,本制御系では,認識プロセスおよび計 画プロセスの間には,あまり厳格な同期は必要ではないことおよび本誘導信号計算機構を基礎として走行 制御系を構成した場合には,認識−計画のソフトウエアの実行速度は比較的低速度でよいことをも意味す る.これらのことは移動ロボットの制御装置を並列計算機システムとして構築する上で大きな利点となる. 実際, 知覚−制御ア−キテクチュアを採用することにより,環境モデルを中心に認識,計画ならびに計画の 各プロセスを非同期的に接続した制御系を通常の計算機ハ−ド ウエアて構成することが可能である [10]. 再帰型画像処理機構を用いた移動ロボットの視覚誘導 6 11 結言 予測パタ−ンおよびエッジパタ−ンの画像差を力学モデルを用いて評価することにより再帰型画像処理機 構を導出した.本機構にもとづいて 60Hz 動作型の視覚誘導システムを開発し ,移動ロボットを用いた走 行実験によりその有効性を確認した.また,本画像処理機構を導入することにより,環境モデルを中心に, 認識,計画および誘導の各プロセスを非同期的に接続する制御系を容易に構成できること確かめた. 本誘導システムを搭載した移動ロボットを運用するためには,環境を多面的に記述した地図の表現方法 [5], 地図を先験情報とする環境理解方法 [10] などを合わせて開発する必要がある.これらについては,稿 を改めて報告する. 本稿を草するにあたり,分布定数系理論の画像処理への応用について有益な助言を賜わった京都工芸繊 維大学砂原善文教授に深甚の謝意を表わす次第である. References [1] D. A. Dondis. A Primer of Visual Literacy, MIT Press, 1973. [2] T. Fukushima, Y. Kobayashi, K. Hirasawa, M. Ejiri, and H. Kuwahara. An image signal processor. In Digest of Technical Papers, 1983 IEEE ISSCC 83, pages 258–259, 1983. [3] K. Kamejima and Y. C. Ogawa. A pattern kinetics concept and its application to mobile robot navigation. In 6th SICE Symposium on Dynamical System Theory, pages 87–90, 1983. [4] K. Kamejima, Y. C. Ogawa, and Y. Nakano. Perception control architecture in image processing system for mobile robot navigation. In Proc. IEEE-IECON’84, pages 52–57, 1984. [5] K. Kamejima, Y. C. Ogawa, and Y. Nakano. Image structure detection with application to mobile robot navigation. In Proceedings of 12th Annual IEEE International Electronics Society Conference (IECON’86), pages 713–718, 1986. [6] H. J. Kushner. Stochastic Stability and Control, Academic Press, 1967. [7] Y. Nakano, M. Fujie, T. Iwamoto, and K. Kamejima. A concept for an autonomous mobile robot and a prototype model. In 1985 International Conference on Advanced Robotics, pages 4130–420, 1985. [8] U. Neisser. Cognition and Reality - Principle and Implications of Cognitive Psychology, Freeman, 1976. [9] Y. C. Ogawa and K. Kamejima. A visual navigation method for mobile robots. In Proc. IECE84, pages 6–131, 1984. [10] Y. C. Ogawa, K. Kamejima, and Y. Nakano. Syntactic image analysis for environment understanding. In Proc. IEEE-IWMVI, pages 266–271, 1987.