ステレオ法によるロバストな道路面の検出 Robust Detection of Road

ステレオ法によるロバストな道路面の検出
上野潤也*1，実吉敬二*2
Robust Detection of Road Surface by Stereo Vision
Junya UENO*3 and Keiji SANEYOSHI
*3 Tokyo Institute of Technology, Graduate School of Faculty of Science
4259, Nagatsuda-cho, Midori-ku, Yokohama, Kanagawa, 226-8501, Japan
Road surface detection is essential technique for vehicle on-board stereo vision, because it is important
for an autonomous vehicle to obtain information about an area that the vehicle can pass through. In this
paper, we propose a robust algorithm to detect road surface by stereo vision. Firstly, images from stereo
camera are partitioned into 16 lines units. Then, disparity map is computed using area-based stereo
matching. The base image is also classified in accordance with intensity. Then, new disparity map which
has one disparity for one line in each group is created. Finally, road surface is detected by two kind of
filtering technique : comparing disparity in the same line and checking disparity variation in the same
group. The proposed method can detect road surface robustly and even can estimate inclination of the
road. Furthermore, this method also leads parallel processing by 16 lines unit.
Key Words : Stereo Vision, Road Extraction, Road Scene Analysis
1. はじめに
ステレオカメラによる画像処理技術は進歩を続
けている．現在では白線検出や前方障害物認識と
いった技術が車載ステレオカメラとして商品化さ
れ，その先進性や有用性は注目を浴びている．
このような車載ステレオカメラに関する画像処
理技術の研究において，道路面の検出は重要なテ
ーマである．道路面を検出することによって，走
行可能経路の探索や人や自動車などの障害物認識
そこで本研究ではステレオ法により得られた視
差分布と，基準画像のグループ化を元に，道路面
の検出を行った．提案する手法では，白線のない
道路でも検出が可能で，なおかつ道路を平面とし
てではなく一定の視差をもつ直線の集まりとして
とらえるため道路の勾配変化がわかる．また画像
を帯状に分割して順に処理を行う手法を採用する
ことで，リアルタイムステレオカメラへ組み込む
ことが容易になっている．
をより効率的に行うことが出来るからである．し
2.
かし，基本的に道路面は画像上で輝度変化が小さ
2・1 概要
高密度な視差分布の算出
この章では道路面検出のベースとな
く，画像処理によって正確に道路面を検出し，そ
る高密度な視差分布の算出法を記述する．領域ベース
の距離や傾斜の情報を得ることは困難である．従
マッチングによる視差分布を元に算出を行う．
来の研究では，白線の位置や方向など道路の関連
2・2 16 ライン分割処理
本研究室で現在 FPGA
部分から道路面を推測する手法(6)や，ステレオ画
によるリアルタイムステレオカメラの研究も同時に行
像から類似パターン検出と画像の射影変換によっ
っている(3)．今回提案する手法はそのステレオカメラ
て平面を抽出するという方法(4),(5)がある．しかし，
システムへ組み込み，リアルタイムで処理を行うこと
前者の場合，白線や横断歩道などがない場合には
を前提としている．一般にステレオ法を用いた連続画
道路面の抽出ができない．後者においては，道路
像処理では，全画面の視差を算出した後に道路面や障
面を平面と仮定しているため，勾配変化がある場
害物の検出を行う．しかしこの方法では全画面の処理
合に対応できない．
を 2 回行う必要があり，検出が完了するために最低１
画面分の遅れが生じてしまう．そこで画像を一定ライ
*1
学生員，東京工業大学（〒226-8501 神奈川県横浜市緑
区長津田町 4259）
*2
正員，同上
E-mail: [email protected]
ン数の帯状に分割し，ステレオマッチングと道路面検
出をこの分割した領域内で完結させる．さらにハード
ウェア上では並列処理により，ひとつの分割領域での
て述べる．今回は自動車のルームミラー前方に設
道路面検出と次の分割領域でのステレオマッチングを
置されたステレオカメラによって撮影された画像
同時に行え，処理の遅れは分割したライン数分にとど
（解像度 512×200）を用いた．カメラは水平線が
めることができ，高速化が可能となる．分割のライン
画面の上から 10 から 20 画素になるように，前方
数はプロセッサが処理しやすい 2 ラインで行う．提案
する手法では処理の過程でライン数に対して最小二乗
の道路面がよりよく写るように水平より下向きの
法を用いるため，8 ライン以下ではデータ数が不足し
より車両に近く，そして上部へ向かうにつれて遠
精度が悪くなる．またライン数が多すぎると結局処理
に時間を要し，分割するメリットがなくなる．以上の
方へ向かう．すなわち画面左上を原点とした画面
上の位置を i, j  とすると，道路面の視差は j に関
ことから 16 ラインを選択した．
して増加関数となる．その視差変化は道路に勾配
n
2・3 領域ベースマッチングとその弱点
傾斜を持って設置してある．道路は画面の下部が
領域ベ
変化がなければ，画面縦座標に対して直線で近似
ースマッチングとは，基準画像にある小領域（例：8
×4）を用意し，比較画像のエピポーララインに沿って
できると知られている（図 2(a)）．その直線を
d  aj  b （ d は視差， j は画面縦座標）で表すと
領域内のパターンの類似度を見るという手法である．
き傾き a は地面に対するカメラの設置高を h ，左
今回は視差の算出に計算コストが低く信頼度の高い
右カメラ間隔を B として，a  B / h となる(1)．以上
SAD（Sum of Absolute Difference）関数を用い，探索範
の条件から道路面の視差画像は次のように特徴づ
囲は 120 ピクセルとした．さらに視差の精度を高める
けられる．
ために，基準画像に対しガウスフィルタ，距離画像に
①画面の水平方向に着目すると，道路面以外の障
対し弱パターン除去，サブピクセル視差の算出，オク
害物は，すべて道路面より手前に存在するため，
(1)
ルージョンの除去処理および特異点補正 を行った．
道路面の視差は最も小さくなる（図 2(b)）．
基準画像とマッチング処理後の距離画像を図 1 に示す．
②車体のロールが十分小さいとすれば，道路面は
視差は白に近いほど大きく，黒に近いほど小さくなっ
画面水平方向に一様の視差を持つ（図 2(c)）．
ている．黒の点はデータの存在しない点である．この
手法では，パターンを元に類似度を見ているためパタ
ーンの弱い部分（局所領域において，濃度勾配の大き
さが小さいところ），特に道路面においてはミスマッ
チが多発し，正しい視差が得られないことが多い．そ
のため，この手法のみでは道路面の検出は困難である．
(a)Relation between
vertical coordinate of image and disparity
(a)Base image
(b)Requirement of the road①
(b)Disparity map
Fig.1 Example of base image and disparity map
(c) Requirement of the road②
2・4
道路の仮定方法
この節ではアルゴリ
Fig.2
ズムのベースとなる，道路をどう定めるかについ
2
Road definition
2・5 基準画像のグループ化
前節の仮定を元に
行うため，ある程度ミスマッチ点が含まれていても視
道路面の検出を進めるためには，まず道路面とそのほ
差の存在点は多い方が良くなる．そこで閾値を１に設
かの物体を分離させる必要がある．そのために基準画
定して以下の処理を行った．
像の輝度が類似している画素のまとまりをひとつのグ
2・7・2 視差のヒストグラム
この視差分布を
ループとして区別し，番号を付けるグループ化を行っ
グループごとに分けて考える．さらにグループをライ
た．各グループが画面縦方向に持つ大きさをグループ
ンごとに分割し，整数視差のヒストグラムを作成する．
の高さ（最大 16）と呼ぶことにする．図 3 にグループ
ヒストグラム作成は次のようなルールによって行った．
化後の画像を示す．16 ラインに分割された中で同じ色
・グループの左右端点にある視差データは 20 倍の重み
で表示されている領域が，明るさが近く，同じ物体で
を付けてカウントする（ただしグループの端点が画像
ある可能性が高いということである．
の端となっている場合は重み付けをしない．）．
グループの端点，つまりグループ同士の境界にあた
る画素は，グループ化のルールからもわかるように，
パターンの強い場所になっている．つまりその点はス
テレオマッチングにおいて高い精度の距離情報を得ら
れているといえる．これが重み付けを行った理由であ
る．
2・7・3 最大頻度視差領域の決定
Fig.3 Grouping image
2・6 マッチングウィンドウサイズ
次にヒスト
グラムから最大頻度の視差領域を決める．その条件式
を以下に述べる． cn, j, m をライン j ，グループ番
号 m ，整数視差 n におけるヒストグラムの個数とし，
領域ベース
マッチングにおいて領域のサイズは重要である．目的
S n, j, m, を次のように定める．
が障害物認識である場合は，サイズとして 8×4 や 4×
4 を用いる．これは輝度の縦方向の変化と横方向の変
S n, j, m 
化を同時に比較することで，マッチング精度を高めら
n 5
 ck ,
j , m 0  n  115
(1)
k n
れるためである．当然サイズが大きいほどミスマッチ
この S n, j, m が最大となるときの n を，N とおき，
ングはなくなるが，縦横分解能とのトレードオフにな
るため，このような大きさが適当である．本研究の目
最大頻度の視差領域の始点とする．すなわち，
的は道路面の検出であり，先にも述べたように道路面
N  n  N  5 が最大頻度をとる視差領域である（図
は画面縦方向に視差が連続的に変化する．つまり縦方
4）．そしてこの領域内に存在する全視差データの平均
をとったものを，ライン j ，グループ m におけるライ
向の視差変化の分解能は高い方がよい．そこでこのア
ン視差 Dl  j, m とする．
ルゴリズムにおいては，その用途に対応できるように，
領域サイズを横長の 32×1 とした．
2・7 各グループ内のラインごとの視差
図3を
見ると，基準画像のグループ化によって画像上の物体
はそれぞれ切り離されたといえる．すなわち道路であ
るところと人や側壁，障害物といったものはそれぞれ
異なるグループとして分離できている．この節では，
これらを用いて各グループのラインごとに視差を与え
る，その求め方について述べる．
2・7・1 弱パターン除去閾値の設定
Fig.4 Most assembled area of disparity
領域ベー
スのステレオマッチングにおいて，パターンが弱い箇
図 5 に弱パターン除去閾値 1，32×１のウィンドウ
所ではミスマッチングが発生しやすい．そこでパター
による距離画像，ライン視差による高密度な視差画像
ンの弱い箇所を除去する処理を行う．そのために隣り
および i  300 における視差変化を示す．道路面に対し
合う画素の輝度差が閾値以下の場合はその画素の視差
て視差は連続的に変化しているところが多いが，まだ
を計算から除外する．障害物検出が目的の場合，物体
所々に異常な値が見られる．次章ではこの異常値の除
のエッジ部分が重要となってくるため抽出の閾値を大
去と道路面の検出について述べる．
きく（3 程度）とるが，本手法では統計による処理を
3
縦軸方向の大きさの最大値 16 に対して，ノイズと
なる視差は多くとも 3～4 ラインと見積もると，単
調増加領域にある点が最も多くなると考えられる．
よって最も点が集まる箇所を抽出すればよい．そ
のために一定の視差の幅をもった領域を用意し，
その内部に存在する点の個数が最大となる視差を
求める．その領域は次のように定める．
(a)Disparity map using 32x1 window
2 章 3 節で述べたように画面縦座標に対して視
差変化の傾きは B / h で表せる．今回使用したカメ
ラは B  300[mm], h  1000[mm] であるので，平坦な
道路面で傾きは B / h  0.3 程度になると考えられ
i  300
る．つまりグループの高さが最大の 16 のときに，
視差は 4～6 程度変化することになる．ただし路面
に傾斜の変化がある場合傾きは増加し，道路以外
(b)High density disparity map
の立体物は道路に対して直立している場合が多く，
j に対して視差の変化はほとんどないと考えられ
120
Disparity
100
80
60
る．これらのことから，グループ内での傾き a（視
40
差変化量）が，0  a  0.5 の点群を残すように領域
20
を設定する．グループの高さが 16 のときは図 6 の
0
0
ような領域となる．式で表すと次のようになる．
16 32 48 64 80 96 112 128 144 160 176 192
Vertical coordinate of image
1
1
j  d  Dl  j  d  8
2
2
(c)Disparity at i  300 without noise filter
（3）
Fig.5 Disparity for one line in each group
3. 道路面の検出
3・1 概要
この章では 2 章で求まったライン視
差の分布を元に，ノイズの除去と 2 つのフィルタによ
って道路面を検出する，その導出過程を述べる．その
後いくつかの場面における検出結果を示す．
3・2
ミスマッチによるノイズの除去
16 ラ
Fig.6
インずつに分割して処理を行っているため，同一
グループ内にミスマッチなどに起因する視差のノ
Noise filter
d は図 6 において領域左下の視差とする．この
イズが存在すると，以下に述べるフィルタで用い
領域を視差方向に動かし，その中でプロットした
る道路面の基準視差や最小二乗法によって求める
点が最も領域内に存在する位置を求める．そのと
視差変化量の値が正確に得られない．一般的に，
き領域外にある点をノイズとする．ノイズとみな
ノイズを排除してフィッティングする方法として
した点はこれから述べるフィルタ処理の対象から
RANSAC などのロバスト推定法があるが，結果出
除外し，処理後に別の値に置き換えて元の座標へ
力までの時間にばらつきがあり，リアルタイム処
戻す．詳しくはフィルタ 2 の項で述べる．
理を前提とする本手法においては適切ではない．
3・3 最遠の領域を抽出するフィルタ（フィルタ１）
そこで以下のようなノイズ除去処理を道路面検出
3・3・1 道路面の基準となる視差の決定
フィルタ適用前に施した．
2章3
節の条件②で述べた内容をフィルタとして定式化する．
道路面の仮定条件で述べたように，画像の縦座
画像中の任意のラインに着目したとき，ライン内に道
標に対して道路面の視差は単調に増加する．すな
路面が含まれているとすると，その視差は他の障害物，
わちグループが同一であれば，視差が 1 ライン単
側壁などの立体物よりも小さくなっている．そこでラ
イン内で最小となる視差 Dl とその近傍の視差以外は
位で大きく変化するとは考えにくい．グループの
4
道路面ではないと仮定できる．ただしこの仮定が成り
①グループの高さに対し， M の割合が 50％未満
立つのはライン内に含まれる物体の視差が正しく求ま
⇒グループ全体をフィルタリングから外す．
っている場合に限られる．前節で述べたノイズ除去の
②グループの高さに対し， M の割合が 50％以上
後でも，ミスマッチを起こしているグループ内の視差
⇒グループ全体をフィルタリング．
は存在し，その視差が想定される道路面の視差と比べ
2 章で示した高密度な視差画像にこのフィルタ
て小さい場合に道路面の検出が困難になる．そこで，
道路面の基準となる視差 D0 を次のように決定する．1
を適用した画像を図 7 に示す．道路上に存在する
ライン内にミスマッチがあるとすると，１つだけ他の
ることがわかる．
障害物，側壁といった部分の多くが除外されてい
視差に比べ離れている場合が多い．一方で正しく求ま
っている視差はある値の近傍に集中する傾向がある．
そこでライン内の視差の中で最小の視差のひとつ上の
値 を D0 と し た ． こ の 基 準 値 を 元 に ，
D0    Dl  D0   となる Dl を抽出する処理を行
った．
3・3・2
閾値の決定
一般に道路は排水性を
高めるために，道路中央へ行くにつれわずかに盛
Fig.7 Image after filtering 1
り上がるかまぼこ型の形状をしている．つまり道
路上を走行する自動車から見ると，道路の両路肩
3・4
視差変化量が正のグループを抽出するフ
は下がって見える．視差画像において，道路の路
ィルタ（フィルタ２）
2 章 3 節の条件①で述
肩にあたるグループに与えられる視差は，走行車
線の視差と比較して小さくなっている．画像平面
べたように道路面の視差は直線的に変化している．
左上を原点とした画面上の位置を i, j  とすると，
上で考えると，画像中央から横軸方向へ進むにつ
道路面の視差は， j に関して増加関数となる．そ
れて道路面の視差は小さくなる傾向があるといえ
こで Dl  j, m のグループ番号 m を固定して j の関
る．このことから，閾値  を次のように定めた．
数として考え，その変化量を求めることで道路面
の判定を行う．最小二乗法を用いるため，このフ
4
W
  i
4
W
2
ィルタの対象はグループの高さが 4 以上のグルー
プに限定した．まず j の関数 Dl  j, m に対して最
(2)
W は画像の幅， i は画像左端からの横方向座標，
小二乗法により傾きを求める．そして傾きが 0 以
ともに単位はピクセルである． は画像中央で４，
下のとき，そのグループは道路面ではないという
画像両端で 2 となるように線形でつないだ変化を
処理を行った．また 3 章 2 節でノイズとみなした
するようになっている．2 や 4 といった数値は，
点における視差は，そのグループの近似直線上の
様々な画像で試した上で最適と思われた値を採用
した．閾値  は，D0 から十分離れているミスマッ
点における視差に置き換えた．これにより，欠損
チによる視差を取り除くことを目的とする値であ
タ 1 の処理を終えた画像にフィルタ 2 を加えた画
る．やはり試行錯誤の末，7 に設定した．
像を図 8(a)に示す．フィルタ 1 のみの場合と比較
3・3・3
グループ単位での決定
のない高密度な道路面検出が可能となる．フィル
ここまで述
して，障害物の一部がさらに除外され，残った部
べてきたフィルタを 1 ラインに対して適用すると
分が道路面のみになっていることがわかる．また
同一のグループ内でも，フィルタリングされてい
図 8(b)に図 8 (a)の i  300 における道路面の視差変
るラインとそうでないラインが混在することが起
化を示す．グラフ上で視差の小さな領域（20 近辺）
こりうる．しかし基準画像のグループ化によって，
において傾きが急激に緩やかになっているが，こ
グループが同一であれば対象物も同一とみなすこ
の原因として，画面上で道路の幅がウィンドウの
とができるから，フィルタの判定対象をライン単
幅（32 ピクセル）を下回り，ウィンドウの一部が
位からグループ単位へ変換させる必要がある．そ
立体物と重なってしまったために正しく視差が得
のためにグループ内でフィルタ 1 が適用されてい
られていない，ということが考えられる．ただし
るライン数を M として，以下の処理を行った．
視差の小さな領域は情報の必要性が低いため，実
用上の問題はない．
5
(a) example1
(b) example2
(c) example3
Fig.8 Road detection examples
分割処理を採用することにより高速化が可能とな
り，ハードウェアへの実装が容易に行える．また
道路面を平面としてではなく，一定の視差を持つ
直線の集まりとして検出しているため，道路上の
任意の点における視差や道路面の勾配変化をとら
i  300
えることが可能である．周囲の明るさの変化はス
テレオカメラシステムの輝度補正機構によって緩
和できる．また暗い場合でも本検出法の利点であ
Disparity
(a)Image of road surface and disparity
120
るパターンの強弱へのロバスト性によって問題な
100
く検出が可能である．現在課題として残るのは，
80
60
ステレオ法そのものの問題として存在する，反射
40
路面への対応である．大雤などで路面に反射が存
20
在すると，障害物が道路面の下にまで存在するよ
0
0
うに見えてしまうためである．
16 32 48 64 80 96 112 128 144 160 176 192
Vertical coordinate of image
今後はこのアルゴリズムを実機のリアルタイムステ
(b)Disparity plot of i  300 where not filtering
レオカメラシステムに組み込み，道路面の検出，障害
物の認識，走行経路の決定を行う．FPGA の並列処理
Fig.8 Road detection result
機能を最大限に使うことで，高速にこれらの処理が行
3・5
図 8 に異なる走行シ
えることが期待される．
ーンにおける道路面検出の結果と，元の基準画像
ロバスト性の評価
文
を示す．それぞれ高速道路（図 8(a)），白線のな
(1)
い道路（図 8(b)），下り坂へ向かう道路（図 8(c)）
における道路面検出である．検出結果から，道路
(2)
面以外の部分が除外できており，またアスファル
(3)
ト面など，パターンが弱い場所における視差が得
られていることがわかる．白線のエッジなど，本
(4)
来信頼できる視差を持つ部分が本手法では消えて
しまっているが，その部分は従来の白線の視差デ
ータを用いる手法と組み合わせることでよりロバ
(5)
スト性の高い検出が可能となる．
4. まとめと今後
(6)
本論文ではステレオ法による視差分布と基準画
像のグループ化からの道路面検出法を提案し，そ
の適用結果について述べた．本手法は画面内のパ
ターンの強弱に対してロバストである．16 ライン
6
献
実吉敬二, ステレオ法による立体画像認識の
基礎と車載カメラへの応用, 株式会社トリケ
ップス (2007).
青木孝之, 実吉敬二, ステレオ法を用いた路
面抽出, Proc. 25th RSJ, 1C1-01 (2007).
矢沢和正, 実吉敬二, 上野潤也, FPGA を全面
的に採用したリアルタイムステレオカメラ,
Proc. 26th RSJ, 1L1-01 (2008).
M. Okutomi, K. Nakano, J. Maruyama, T. Hara,
Robust Estimation of Planar Regions for Visual
Navigation Using Sequential Stereo Images, Proc.
IEEE ICRA, pp.3321-3327 (2002).
K. Onoguchi, N. Takeda, M. Watanabe, Planar
Projection Stereopsis Method for Road Extraction,
Proc. IROS, p249-256 (1995).
D. Koller, T. Luong, J. Malik, Binocular
Stereopsis and Lane Marker Flow for Vehicle
Navigation, lateral and longitudinal control .
Technical Report UCB/CSD 94-804 (1994).