対称性による路上歩行者候補領域検出

対称性による路上歩行者候補領域検出
Detecting Pedestrian Candidate Regions on Roads Using Symmetry
Algorithm
あらまし
本稿では，プリクラッシュセーフティシステムの要素技術として，車載単眼カメラ画像
から走路上の歩行者の候補領域を抽出する「対称性アルゴリズム」を提案する。本手法は，
人がほぼ線対称に見えることに着目して，1枚の単眼カメラ画像から線対称性のある画像領
域が歩行者を含む可能性の高い候補領域として検出することを基本とした。また，路面に含
まれる白線や横断歩道などにおいても対称性を持つことが分かっており，これらを棄却する
ための路面の特徴を考慮した検証処理を適用した。様々な評価用映像を用いて，提案手法の
検知性能を評価した結果，走路上の歩行者を注目領域として安定的に抽出できることを確認
した。また，著者らが保有する単眼カメラ画像を用いた手法「顕著性アルゴリズム」との性
能比較を行うことで，本手法の有効性を確認した。
Abstract
We developed a method of detecting pedestrian candidate regions by applying a symmetry
algorithm to images taken by an in-vehicle monocular camera for use as the element
technology in a pre-crash safety system. When a stereo camera is used, candidate regions
are detected by size using distance information to be provided by stereo matching. Because
we use a monocular camera, however, it is difficult to apply similar technology to this
method. We therefore focused on most symmetrical shapes of humans and developed a
method of detecting the linear symmetry region as the image region that includes
pedestrians. Moreover, we developed a method of taking measures to prevent incorrect
detection of white lines and the crosswalks. We then confirmed that this method using our
monocular camera could accurately detect pedestrian candidate regions on roadways as
compared to the saliency algorithm method.
藤岡 稔
（ふじおか みのる）
富士通テン（株） 研究開
発部 所属
現在，ITS分野向け画像
認識アルゴリズムの開発
に従事。
410
冨士原 純
（ふじはら じゅん）
富士通テン（株） 研究開
発部 所属
現在，ITS分野向け画像
応用システムの研究開発
に従事。
森松映史
（もりまつ えいし）
水谷政美
（みずたに まさみ）
ITS研究センター 所属
現在，画像処理・画像
認識の方式，実現技
術 ， お よ び ITS 分 野向
け応用システムの研究
開発に従事。
ITS研究センター 所属
現在，画像認識を含めた
動画像処理技術，および
ITS分野を中心とした応
用システムの研究開発に
従事。
FUJITSU.59, 4, p.410-415 (07,2008)
対称性による路上歩行者候補領域検出
る手法(2)がある。抽出された領域でニューラルネッ
ま え が き
トワークを用いて歩行者かどうかを識別している。
近年のモータリゼーションの発展に伴い，交通事
この手法は，走路内の歩行者候補領域を抽出可能で
故が年々増加している。死亡事故の内訳を見てみる
あるが，検出率が85％以上の場合で候補領域中に
と，近年では約3割が車両と歩行者の接触事故によ
誤検知が10％程度存在しており，後段のニューラ
るもので，歩行者事故の減少が望まれている。これ
ルネットワークなどによる候補領域からの歩行者認
らの歩行者事故の大半は，運転者の前方不注意や安
識処理の演算の負担が大きいという課題がある。
全不確認といった認知の遅れが原因となっているこ
そこで本稿では，1台のカメラから路面を推定し
とも分かっている。このため，歩行者事故を未然に
た際の路面接点の距離情報を用いることで歩行者程
検知・判断し，安全装置を作動させるプリクラッ
度の大きさで線対称性のある画像領域を候補領域と
シュセーフティシステムの要となる歩行者検出への
して抽出するアプローチを紹介する。また，道路内
要望が高まってきている。
に存在する路面や白線などの特徴をモデル化し，そ
歩行者検出には形状推定に適した解像度を持つ画
れを棄却するアプローチを組み合わせることで，車
像センサを用いた手法が主流である。画像内から歩
載単眼可視光カメラ画像を用いて，誤検知を抑えて
行者を検出する方法としては，2台のカメラからのス
歩行者候補領域を検出する手法について紹介する。
テレオマッチングによって得られる距離情報を用い
単眼カメラからの歩行者候補領域検出
た方法(1)や路面パターンの学習によって路面以外を
抽出する顕著性アルゴリズム(2)を用いる方法がある。
入力デバイスは，低コストで搭載性に優れ，周囲
Zhaoらはステレオマッチングから得られた距離
温度に影響の少ない単眼可視光モノクロカメラを用
(1) その中でも
情報を用いて領域分割を行っている。
いることとした。本カメラを車両へ搭載し取得した
距離が近い領域を歩行者候補として抽出し，ニュー
画像においては，俯角（物を見下ろしたとき，水平
ラルネットワークにより歩行者かどうかを識別する。
面と視点方向のなす角）が浅いために空や建物のよ
ステレオマッチングは，異なる場所の2台のカメラ
うに歩行者以外に背景として様々なものが映ってい
で撮った画像上の物体の位置ずれから奥行（距離）
る。テンプレートマッチングやニューラルネット
情報を取り出すもので，画像中における複数の点の
ワークといった一般的に用いられる歩行者認識処理
距離情報が取得できるという利点があるが，2台の
は非常に演算量が多く，画像全体に適用するには演
カメラの高精度な軸調整が必要なことや距離精度の
算リソースや処理時間を必要とする。そこで，歩行
確保にはカメラ間の距離を十分に取る必要があるこ
者検知を効率良く行うため，これら歩行者認識処理
とから，価格や搭載性という点で問題がある。
を実施する前に，画像全体から絞り込みを行う歩行
ふ
これに対し，距離情報を用いず1台のカメラで歩
者候補領域の抽出処理を開発した。著者らが考える
行者を検出する方法として，顕著性アルゴリズムを
歩行者検出の全体処理フローを図-1に示し，この内
用いて路面パターンの特徴をモデル化し，路面以外
「対称性アルゴリズム」を新たに開発した。
を抽出することで道路内の歩行者候補領域を抽出す
対称性
アルゴリズム
ニューラル
ネットワーク
トラッキング
処理
カメラ
歩行者候補
領域抽出
歩行者詳細
形状認識
時間連続性
による検証
図-1 歩行者検出処理フロー
Fig.1-Pedestrian detection process flow.
FUJITSU.59, 4, (07,2008)
411
対称性による路上歩行者候補領域検出
性を仮定し，単眼カメラにおける透視投影の幾何学
対称性アルゴリズム基本方式
的関係を考慮して，画素位置と距離の関係を導出す
走路上に存在するほとんどの歩行者の形状がほぼ
る。この距離情報を用いることで画像上での歩行者
線対称に見えることを考慮して，線対称性のある画
の大きさを算出し，フィルタサイズを決定する方法
像領域を，歩行者を含む可能性の高い領域として抽
を導入した。カメラの取付け高さ（h）からカメラ
出することを処理の基本とした。これには，つぎの
内部の撮像素子に映る位置（y）は，歩行者（脚部
対称性フィルタを用いた。
と道路の接触面）までの距離（z）に応じて変化す
x-u x x+u
る。また，カメラの焦点距離（f ）も既知である。
そこで，h：z＝y：f の関係から，位置（y）ごとに
I(x)
・対称性フィルタ：
T/2
T
Symm( x, T ) =
肩幅の画像上での大きさを求め，対称性フィルタサ
T/2
T
∑ E (u, x) − ∑ O(u, x)
2
∑ E (u, x) + ∑ O(u, x)
2
2
u =1
T
2
u =1
u =1
T
イズ T を決定する。
本フィルタにより求められた応答値画像において，
く
画面上での歩行者サイズの矩形領域（幅70 cm×高
さ170 cm）の中心付近のエネルギー和を求め，所
u =1
いき
偶関数成分：
定の閾 値以上の場合，その矩形領域を歩行者候補
E (u , x) = 0.5 × {I ( x − u ) + I ( x + u )}
領域として抽出する。
奇関数成分：
車載環境における適用問題点と対策
O (u , x) = 0.5 × {I ( x − u ) − I ( x + u )}
このように開発した対称性アルゴリズムを車載単
本フィルタは，画像Iの位置 x において指定した
眼可視光カメラから撮影した様々な画像へ適用した
範囲 T における水平画素配列を偶関数成分 E と奇
結果，走行路内に存在する横断歩道や路面標示のペ
関数成分 O に分解し，それらのエネルギー差を対
イントや建物の影などで対称性の度合いが高くなっ
称性の度合い（-1～1の連続値）として数値化する
てしまい，過剰反応が発生することが分かった。そ
ものである。様々な歩行者画像へ対称性フィルタの
こで，これらを棄却する目的で，下記3点の路面の
適用を試した結果，歩行者の大きさに合ったフィル
特徴を考慮した検証処理を導入した。
タサイズ T を使用することで，歩行者の中央付近に
● 無地路面領域の占有度による検証処理
より良好な反応が得られることが分かった。本方式
多くの路面領域にはパターンを持たないアスファ
では，実験に基づき，フィルタサイズ T を，画像上
ルト面が広く存在することを考慮し，画像の垂直
での正面向きの歩行者の肩幅（例：70 cm）の大き
エッジ成分の局所的な分散を評価するフィルタを適
さに設定することにした。ただし，画像上での歩行
用した。図-3に示すとおり，同フィルタ応答値が所
者の大きさは，カメラ焦点からの距離に応じて変化
定の閾値以下の領域を，濃淡変化が少ない路面領域
する。そこで，図-2に示すとおり，まず，路面平面
として抽出した。つぎに，対称性フィルタによって
原画像：640×480
カメラ
ｙ　光軸
Ｔ=11
ｈ
カメラ高さ
ｆ
焦点距離
撮像面
17
21
･･･
道路面
ｚ　距離
h：z＝y：f の関係から
各y座標におけるフィルタサイズ（70 cm幅）が求まる
図-2 画像y 座標とフィルタサイズの関係
Fig.2-Relationship between image y -coordinate and filter size.
412
FUJITSU.59, 4, (07,2008)
対称性による路上歩行者候補領域検出
片足 幅を ねらった 対称 性　正面 肩 幅をね らった 対 称性　棄却
誤りの足元
採択
脚先 対称性 なし
※ 対称 性の 高い箇 所 を白線 表示
（ a） Step1. 足 元 検 出
簡易路面領域（白塗つぶし）が
歩行者サイズ領域内で
左から右までつながって
いる場合→棄却
（ b） Step2. 脚 先 検 証 結 果
図-4 脚先検出による検証処理
Fig.4-Verification process by leg end point detection.
図-3 路面領域の占有度による検証処理
Fig.3-Verification process by evaluating road
surface area.
Ｉ(x,y -L)
ひざ
Ｉ(x -L,y)
dm0
dm2
Ｉ(x,y)
特定された歩行者候補矩形領域の，おおよそ膝 上
dm3
～胴体に対応する画面上での領域において，抽出さ
Ｉ(x,y +L)
れた路面領域が左から右までつながっている場合は，
歩行者領域でないとして棄却する仕組みを導入した。
● 脚先検出による検証処理
路面領域には横断歩道が存在しており，画像上
では人の肩幅程度の横幅を持つ矩形として対称性
dm1
Ｉ(x +L,y)
dm0 = I ( x + i, y + j ) − I ( x + i − L, y + j )
dm1 = I ( x + i, y + j ) − I ( x + i + L, y + j )
dm2 = I ( x + i, y + j ) − I ( x + i, y + j − L)
dm3 = I ( x + i, y + j ) − I ( x + i, y + j + L)
を有して整列して映っており，誤検知の原因と
a , b ：調整係数
なっている。このような道路パターンによる誤検
L ：フィルタサイズ
知領域を棄却する目的で，図-4に示すとおり歩行者
本フィルタは，中心画素の左右のエッジ量
の片脚程度の幅をねらい，フィルタサイズを矩形領
域の半分に設定した対称性フィルタを用いて，対称
性領域を抽出した。つぎに，この対称性領域の下端
点を抽出する脚先検出処理を行った。これにより，
歩行者候補矩形領域内の下端付近に脚先の特徴点が
検出されない場合は，その領域が歩行者領域でない
として棄却する仕組みを導入した。
● 縦ストライプフィルタを用いた検証処理
路面領域には白線や停止線が存在しており，画像
上では斜め線分となって映っている。そのような斜
め線分を多く含むが対称性を有する路面パターンに
よる誤検知領域を棄却する目的で，以下のような縦
ストライプのエネルギー量を評価するフィルタを使
（ dm0 , dm1 ） を 多 く 含 み ， 上 下 の エ ッ ジ 量
（ dm 2 , dm3 ）が小さいほど大きなエネルギーを与
えるように調整係数を設定した。
図-5に示すように，歩行者候補領域で，矩形領域
幅に適したフィルタサイズ I を選択してフィルタ処
理を実施し，矩形内のフィルタ値のエネルギー和が
所定の閾値よりも小さい場合は，その領域が斜め線
分を含む背景領域であるとして棄却する仕組みを導
入した。
これら三つの検証処理を通過したもののみを歩行
者候補として抽出することで，路面パターンなどで
発生していた誤検知を大幅に抑えることができた。
実
験
用した。
・縦ストライプフィルタ：
StripeEnergy ( x, y ) =
∑ {(| dm0 | + | dm1 |) × a − (| dm2 | + | dm3 |) × b)}
i, j
FUJITSU.59, 4, (07,2008)
評価で利用したデータは，走行による情景や位置
変化に対するロバスト性を確認するため，一般道路
のあらかじめ決めたテストコースでの実走行画像と
した。また，時間による照度変化に対するロバスト
413
対称性による路上歩行者候補領域検出
性を確認するため，日時（朝7時から夕方18時）と
れは各照度での検出率と誤検出率を示す。また，
天候（晴れ/曇り）が異なる環境で採取した画像を
図-6は処理結果の例を示す。走行により周囲環境が
利用した。
複雑に変化する車載環境においても，対称性アルゴ
なお，探索に選択したシーン（12動画）では，
リズムと路面定義からの検証処理により検出率
各シーンで3名程度の歩行者が横断している。また，
95.5％，誤検出率1.15％を達成することができた。
本アルゴリズムの出力は，従来技術と比較する目的
従来手法である顕著性アルゴリズムによる歩行者候
で，歩行者候補矩形領域の下端中央点から歩行者サ
補領域(2)と比較して，候補領域中の誤検出が1/10以
イズの1/8の高さの線分を検知結果として出力する
下に低減されており，本手法の有効性が確認できた。
なお，後段の処理に，ニューラルネットワークに
ことにした。
検出率は，全フレームにおける「登場歩行者延べ
よる詳細形状認識処理と，さらなる誤検知領域の低
人数」中の「歩行者領域のうち，足元の領域内に検
減を目的として，トラッキング処理を適用した場合
知結果が存在する歩行者の延べ人数」とした。一方，
の歩行者検知性能は，検出率95.7％，誤検出2.4回/秒
誤検出率は，全フレームの「歩行者以外の領域面
であった。図-7に処理結果例を示す。
積」中の「検出領域の面積」の比とした。これは，
顕著性アルゴリズム評価と同じである。
定義した性能評価基準のもとで，使用したデータ
セットに対して表-1に示す性能結果が得られた。こ
※歩行者候補（対称性の高い）領域足元中央部に色付け
※走路外は適用範囲外として画像マスク化
※路面距離は水平実線（手前から10，20，30，40，50，60 m）
ストライプエネルギー
が大きい（白塗つぶし）が
歩行者サイズ領域内に
占める割合が
小さい場合→棄却
図-6 対称性アルゴリズム処理結果例
Fig.6-Example of symmetry algorithm processing
result.
図-5 縦ストライプフィルタによる検証処理
Fig.5-Verification process with vertical stripe filter.
表-1 探索シーン照度別検出率/誤検出率
No
1
2
3
4
5
6
7
8
9
10
11
12
－
414
時間
7時晴
7時晴
10時晴
10時晴
12時曇
12時晴
12時晴
15時曇
17時曇
17時曇
18時曇
18時曇
全体
照度（lux）
216
416
23 000
82 800
2090
28 900
31 000
4080
160
256
9
90
－
検出率（％） 誤検出率（％）
98.8
0.83
95.4
0.86
98.9
1.23
94.8
1.36
99.1
1.24
99.8
1.38
97.5
1.41
99.4
0.86
93.3
0.71
93.5
1.39
85.9
0.99
93.5
1.46
95.5
1.15
図-7 対称性アルゴリズムの結果へ後段処理（ニューラ
ルネットワークとトラッキング処理）適用結果例
Fig.7-Example of applying latter part processing
(Neural Network / Tracking) to result of
symmetry algorithm.
FUJITSU.59, 4, (07,2008)
対称性による路上歩行者候補領域検出
む
す
び
方）かつ晴れ，曇りに限定して取り組んできたが，
夜間や雨といった環境への対応も必要と考える。
本稿では，車載単眼可視光カメラ画像を用いた対
称性アルゴリズムによる歩行者候補領域の検出方法
参 考 文 献
を提案した。提案手法では，走路内の歩行者を注目
（1） L.Zhao et al．
： Stereo and neural network-based
領域として抽出する際に，候補領域中の誤検知を抑
pedestrian detection ． IEEE Trans ． Intelligent
え，後段処理の負荷を軽減することができる。今後
Transportation Systems ， vol.1, no.3, p.148-154
は絞り込んだ歩行者候補領域へ歩行者認識処理を適
用することで，誤認識がなく，応答速度の速い歩行
（2000）
．
（2） 藤岡
稔ほか：顕著性による路上歩行者候補領域
者検出アルゴリズムの開発を目指す。また，今後の
検出．第12回画像センシングシンポジウム予稿集，
課題として，今回は周辺環境について日中（朝～夕
Jun.2006，p.374-377．
FUJITSU.59, 4, (07,2008)
415