Comments
Description
Transcript
影投影画像を用いたステレオマッチングにおける動的計画法のロ バスト化
影投影画像を用いたステレオマッチングにおける動的計画法のロ バスト化に関する研究 Study on Robustness for Dynamic Programming in Stereo Matching Process using Shadow Casting Image 電気電子情報通信工学専攻 新堀拓也 Takuya NIIBORI 1. はじめに 近年、月惑星表面に対する理学的、工学的な興味が 増し、様々な計画検討が進められている。特に月面に 関しては、月面基地建設など、将来的な活用の観点か ら鉱物資源等の詳細探査が計画されている [1]。表面探 査では、コストや安全性の観点からローバなどのロボッ ト技術の積極的な投入が検討されており、有人探査の 段階になってもその重要性は変わらない。ここで現在 の探査計画において、最も一般的なロボット技術の形 態に、ローバがある。ローバは、不整地移動機構を有 し、搭載したマニピュレータにより試料を採取、搭載 測定装置によって観測する。また、搭載重量や消費電 力などの制限から、着陸機側に高精度で多様な観測装 置を設け、試料を持ち帰ることも検討されている。こ れら観測作業において、マニピュレータは重要な役割 を担い、特に環境と直接接触するため多くの課題を有 する。 例えば、最も重要な作業の一つは、物体把持である。 小さな不定形物体を、人間による直接的な遠隔操縦に よって把持させることは、極めて困難かつ非効率的で ある。このため自律試料採取機能の実現が求められる。 しかし、自然環境と自然物を対象とするため、計測結 果に多くの曖昧さ、すなわち不確定性が残り、自律把 持機能の導入の弊害となっている。 計測結果の不確定性を削減するための手法としては センサフュージョンが有名である。センサフュージョン とは、複数の異種センサによって取得されたデータを 統合することによって、確実性の向上であったり、各セ ンサの欠点を補間することが可能となる。しかし、搭 載重量や消費エネルギーの制限を考慮に入れるとロー バに複数のセンサを搭載することは困難な場合がある。 そこで本稿では、単一センサによって得られた複数計 測手法によって得られたデータを統合することにより、 不確定性の削減を目的とする。単一センサによる複数 計測手法として、従来より従来より影を利用すること で、特別な器具を使用せずにロバストな 3 次元計測手法 として、「Shadow Range Finder : SRF」と「Shadow Casting Stereo : SCS」を提案し、その有効性を証明し てきた。 以上より本論文では、マニピュレータによる試料採 取のため、影を利用した複数計測手法の統合方法に関 して議論を行う。 2. ３次元計測手法の現状 次元計測法の原理として最も一般的な手法は三角測 量法である。光レーダ法等の一部の例外を除いて、殆 どの３次元計測法はこの三角測量法に基づいた手法で あると言える。その中でも、複数のカメラを用いたステ レオ法は最も有名な手法であり、古くから多くの研究 がなされている。しかし、ステレオ法にはあいまいさの 問題があり、ステレオ法を用いた高精度な３次元計測 法は未だに確立されていない。この問題に対し、従来研 究では、影を利用した３次元計測手法「Shadow Range Finder:SRF[2]」と「Shadow Casting Stereo:SCS[3] 」 を提案し、良好な結果を得た。ここで、両手法の概要 を説明する。 2·1 Shadow Range Fnder:SRF 宇宙での光源は太陽である。その光はほぼ平行光で 輝度も高い。この特性を活かすと、マニピュレータの影 をプロジェクタ光として利用することができる。カメ ラの視線がなす直線と、影の作る平面を数式化し、得 られた方程式を連立させると測定点の３次元位置を測 定することが可能となる。さらに影全体について距離 計測を行うことにより、影の平面が投影面を切断する ときの切断線像を得られ、マニピュレータを移動させ ることにより影を移動させ、投影面を走査することで ３次元形状を復元することができる。しかし、光源方 向取得するサンセンサ及び、マニピュレータ姿勢を取 得するエンコーダの誤差、影境界抽出の精度が測定精 度に依存してしまう問題が上げられる。 Fig.1 A Projection of A Shadow Fig.2 Shadow Range Finder:SRF 2·1.1 影境界部推定 SRF では影の境界部の取得がが最も重大な問題とな る。後藤ら [2] は動的閾値法を用いた、影の形状を認識 する手法を提案している。しかし、影には半影の影響 で Fig.3 のように影境界付近にぼやけが生じる。また、 反射光の影響を受けるため、正確な境界の判別が困難 となり、距離計測に誤差が生じる可能性も報告されて いる (Fig.4)。 Fig.3 Raw Image Fig.6 Scanning Area Constraint (a)Conventional (b) SCSI Fig.4 Penumbra and Umbra Fig.7 SCS Result 2·2 Shadow Casting Stereo:SCS ステレオ法の左右の画像における対応点問題におい て、曖昧さは必ず生じる問題である。これに対し、撮像 画像中に投影された影を利用し、空間自体に直接拘束 を与えることにより高精度な３次元測定を実現可能と なる。左右のカメラで同時刻に撮影された画像ではそ れぞれの影の空間的な位置は等しい。そのため、Fig.5 に示すように、影が投影されていない状態の画像と影 が投影されている画像の背景差分を行うことにより、 Fig.6 に示すようにマッチングの探索範囲を影領域内に 限定することができる。さらに、エピポーラ拘束を考 慮すれば、探索範囲をさらに絞り込むことができる。こ のように探索範囲を絞ることにより、多対応点問題が 発生する確率を減少させることが可能となる。Fig.7 に SCS 処理結果の距離濃淡画像を示す。 投影することにより、探索範囲を拘束できたとしても、 テンプレート内に影境界が含まない領域においては、 再び曖昧さ問題が発生してしまうことが考えられる。 Fig.8 With Edge Fig.9 Without Edge 3. Fig.5 Background Difference Process 2·2.1 マッチングの信頼性 マッチングにおける曖昧さは特徴点の少ない領域、つ まりテンプレート内での十分な輝度変化が生じていな い領域において発生する。言い換えるなら、テンプレー ト内での十分な輝度変化が生じている領域においては マッチングがとりやすいといえる。よって、Fig.8 に示 すように大きな輝度の変化が発生する影境界部におい て、SCS では信頼度の高いマッチングが得られること になる。逆に、Fig.9 に示すように影領域内においても テンプレート内に特徴点が発生しない場合においては 再び曖昧さが発生してしまう。以上のことから、影を 統合方法の検討 3·1 各計測手法の分析 データ統合をするにあたり、まずは各計測手法の特 性を分析する。具体的には以下 3 点に関してである。 1. 影境界付近 2. 影境界を含まない影投影領域 3. ステレオカメラによる計測システム 3·1.1 影境界付近 SRF と SCS の影境界付近での特性を分析する。影 境界付近は 8 に示すように輝度の変化が大きい領域で ある。また、リンクが直線状であるマニピュレータを 用いることでエピポーラ線上でテンプレートマッチン グを行う際に類似領域を含む場合はほぼないといえる。 すなわち、高信頼度なテンプレートマッチングを行う ことが可能となる領域であるといえる。一方、影境界 は SRF でも計測可能な領域である。しかし、SRF に 関しては、リンク姿勢、光源方向、影境界抽出精度が 計測精度に依存する。そのため、計測精度を向上させ るためには、これらのパラメータ精度を向上させる必 要がある。しかし、画像処理による影境界抽出は 4 に 示すように半影などの影響で影境界付近がぼやけ、曖 昧さが生じる原因となり、計測精度の向上には限界が ある。以上のことから、影境界付近は SCS 計測で高信 頼度なマッチングが行え、影境界は SRF で計測可能な 領域である。つまり、SRF で計測可能な領域は SCS で 計測した場合、高信頼度なマッチングが行える領域で あるといえる。よって、影境界付近においては、SRF 手法よりも SCS 手法のほうが有効であるといえる。 3·1.2 影境界を含まない影投影領域 SRF と SCS の影境界を含まない影投影領域での特 性を分析する。このような領域は、9 に示すように、テ ンプレート内のテクスチャ情報は影を投影しない場合 とした場合とで違いはない。影を投影することで探索 範囲を影領域内に拘束できるが、再びこの影領域内で 曖昧さが発生するという問題がある。一方、この領域 は SRF では計測不可能であることがわかる。 3·1.3 ステレオカメラによる計測システム 10 にステレオカメラを用いた計測システム図を示す。 ステレオカメラを用いた場合 SCS 計測では１つの計測 結果が取得できるが、SRF は単眼処理による 3 次元計 測手法であるため、２つの視線方向から計測を行うこ とができる。そのため、ステレオ視では計測不可能領 域となるオクルージョンや画像端領域の計測が可能と なる。 Fig.10 Stereo Camera Measure System 3·2 統合方法 分析３の結果より画像端領域やオクルージョン領域 は SRF 計測結果を適用するのがよく、それ以外の領域 においては分析１より SCS の結果を適用するのがよい と思われる。しかし、分析２より、影境界を含まない 影投影領域においては、統合により曖昧さの低減が不 可能である。 よって、この領域の曖昧さ削減方法を検討する。 3·3 動的計画法 動 的 計 画 法 は 、滑 ら か さ 拘 束 (smoothness constraint) と順序拘束 (ordering constraint) を適用した 対応点探索手法である。この２つの拘束条件により対 応点探索問題をエピポーラ線ごとの最小コスト探索問 題に置き換えることができる。一般的にはエピポーラ 線上の各ピクセルに対する一致度評価をコストとし、 Disparity Space Image:DSI と呼ばれるマッチング空 間を作成し最小コスト探索を行う (Fig.11)。この作業 を全エピポーラ線に対して行うことにより、全画素に おける視差を取得することが可能となる。しかし、滑 らかさ拘束が破綻するオクルージョン領域においては、 正確な経路探索が行えない問題が挙げられる。この問 題に対し、事前にオクルージョン領域を識別し、最小 コスト経路探索時においてオクルージョンコストを付 加することで正確な経路探索を行う研究も行われてい る [4]。 Fig.11 generate DSI 4. オクルージョン問題 ステレオ視の典型的な問題点の１つにオクルージョ ン問題がある。オクルージョンとは、ある物体と異な る物体が重なりあっているとき、ステレオ画像におい て、一方の画像からは見えているが、もう一方の画像 では、遮蔽によって見えていない部分のことをいう。こ のような性質から、オクルージョンは複数カメラ間で の物体の対応付けを困難にするという特徴がある。こ れは，対応付けの処理が画像間で形状や色の類似度が 高い箇所を探すことで行われるためである。対応付け は物体を特定していく作業のため、不正確な対応付け は検出漏れの要因となる。この問題は動的計画法を用 いたステレオ視においても例外ではない。オクルージョ ン領域は遮断によって発生する領域であるため、滑ら かさ拘束が破綻する領域であるともいえる。よってオ クルージョン領域では動的計画法による経路探索が失 敗しやすい領域であると言える。そのため、オクルー ジョン領域を考慮した動的計画法を含むステレオ視の 研究も多く行われている [4]。有名な手法としては、左 右一貫性検査 (Left-Right Consistency Chaeck)[5] が挙 げられる。この手法はステレオ画像の対応点探索を左 右にそれぞれ行い、視差が一致しなかった領域をオク ルージョンとして識別する手法であるが対応付けの曖 昧さ問題もあり、２次元輝度画像を用いたオクルージョ ン領域抽出には限界があると考えられる。 SCS で計測不可能なオクルージョン領域は SRF で計 測可能であることから、SRF の計測結果を用いること でオクルージョン領域推定が可能になると考えられる。 また、２次元画像によるオクルージョン領域推定には 限界があることを考慮し、２次元画像ではなく３次元 距離情報を用いたオクルージョン領域推定による動的 計画法のロバスト化を提案する。 4·1 ３次元情報を用いたオクルージョン識別 オクルージョンとは一方の画像からは見えているが、 もう一方の画像では、遮蔽によって見えていない部分 である。これは３次元距離情報にとっても同じであり、 例えば、左画像を用いた SRF の３次元結果を右画像視 点から見た場合、遮断される領域が発生する。つまり、 ピンホールカメラモデルを仮定した場合、視線方向か らオクルージョン領域を識別することが可能であると 考えられる。Fig.12 に示すように視点を基準とした場 合、オクルージョン領域では視線方向の直線状に交点 が２つ以上存在することになる。よって、２つ以上の 交点を持ち、尚且つ一番遠くに存在する点がオクルー ジョンとして識別可能である。 しかし、SRF は計測原理上、影境界部のみのデータ しか得られず、密な計測が不可能である。よって、デー タ欠如領域を補間する必要がある。 4·2 ３次元データの補間 ３次元形状の曲面補間手法として B-Spline 補間や NURBS 補間等が有名であるが、これらの手法は計測 された点座標を通過しない場合があり、実物の形状と 大きく異なってしまうことが予想される。さらに、大 量の点データを用いて曲面を生成するため計算コスト も大きくなる。そこで、本研究では SRF の計測結果を 残したまま、単純で高速な補間を行う。 補間方法としては、欠損画素 P (x, y) の周囲の画素を 探索し、値の存在する近傍の画素 Pi (x, y)(i = 1, 2, .., n) を n 個選択する。それらの画素 Pi (x, y) に対して、距 離が近い順に重み wi を与え、次式により補間を行う。 P (x, y) = n 1 Pi=1 n i=1 X wi (wi Pi (x, y)) (1) n この方法は非常にアルゴリズムが単純なため、高速 な補間が可能である。 (a)With Occlusion Cost (b) Without Occlusion Cost Fig.14 Occlusion Cost Result (a)With Occlusion Cost (b) Without Occlusion Cost Fig.15 Minimum Cost Path Result Fig.12 Occlusion Detection 5. 評価試験 実験ではステレオカメラとして画像の取得に IEEE1394 カメラ (640 × 480pixel,30frame/sec) を使 用した。また、実験で使用するステレオ画像はいずれ も 320 × 240pixel とする。実験では Fig.13(a) の場面 において、オクルージョン抽出結果を Fig.13(b) に示 す。また、Fig.13(b) の結果を用いて、オクルージョン コストを付加した場合の動的計画法を用いた SCS の 結果を Fig.14(a) に、付加しなかった場合を Fig.14(b) にそれぞれ示す。Fig.14 を比較した場合、オクルー ジョンコストを付加しなかった場合は一番手前に見 える大きな岩の視差が正確に取得できていないのが わかる。さらに、垂直方向下向きにをｙ軸を設定し たとき、y = 121 のエピポーラ線の最小コスト探索を 行った DSI をオクルージョンコストを付加した場合 としなかった場合、それぞれ Fig.15(a)、(b) に示す。 Fig.15(a) の Occlusion Cost Area 内は最小コスト探索 経路の方向が右方向以外のときに付加させるように設 定してある。Fig.15(a)、(b) より、オクルージョンコ ストを付加したほうが正確な経路探索を行えているの がわかる。 最後に、動的計画法を用いた SCS と SRF の統合結 果を Fig.16 に示す。 (a)Original Image (b) Occlusion Detection Fig.13 Occlusion Detection Result 6. まとめ・今後の課題 本稿ではマニピュレータによる遠隔サンプリング採 取のための 3 次元計測法として、環境情報 (影) を付加 することで、単一センサによる複数計測結果のデータ (a)Left SRF Result (b) Right SRF Result (c)DP Stereo Result (d) Composition Result Fig.16 Composition 統合を行った。そして、オクルージョン領域を考慮す ることにより、動的計画法のロバスト化を行った。今 後は、オクルージョン領域抽出の誤差率解析及び精度 向上、また、SRF 手法の精度向上を検討する。 参考文献 [1] Issa A.D. Nesnas、Esfandiar Bandari: “Visual Target Tracking for Rover-based Planetary Exploration”, IEEEAC paper 1392,2003. [2] 後藤妙子、辻俊太郎、國井康晴: “影領域の濃度変 化を考慮した Shadow Range Finder の精度向上”, 第８回ロボティクス・シンポジア, 2003. [3] 潮田 隆広：”遠隔科学観測のための画像計測の高 速高精度化及び自律対象認識に関する研究”、中央 大学大学院 理工学研究科修士論文、2005 [4] Huahua Chen:“ Stereo Matching Using Dynamic Programming Based on Occlusion Detection“ , Page(s): 2445-2449. Digital Object Identi er 10.1109/ICMA, 2007. [5] C. Chang, S. Chatterjee, and P.R. Kube: “ On an Analysis of Static Occlusion in Stereo Vision ”, Proc. Computer Vision and Pattern Recognition, pp. 722-723, 1991.