Comments
Description
Transcript
1.30MB
エネルギーITS推進事業 「車両周辺の道路・立体物 検出技術の開発」 （2008年度～2012年度 5年間） 東京工業大学 2013年 3月 12日 1 研究開発の概要（１） 開発内容（解決すべき項目とどのような技術か） 自動車を自動運転するときには障害物検出を行なうこと が必須となる。この問題を解決することを目的とする。 これまで障害物検出にはレーザーレーダーやミリ波レー ダーが用いられることが一般的であったが、本研究開発 ではステレオカメラを用いる。 ステレオカメラは他の手段に比べ、 ①情報量の多さ ②視野角の広さ ③処理の速さ ④横方向空間分解能の高さ ⑤距離情報と画像情報の位置合わせが不要 など有利な点が多い。 2 ステレオカメラの優位性 ① 情報量の多さ 単眼カメラ LRFによる計測 ステレオによる計測 ・単眼カメラは情報量は多いが距離情報がない。 ・レーザーレンジファインダー（LRF)はまばらな情報 ・ステレオカメラは情報が多い。特に障害物検出で重 要な物体境界の情報が多い。 3 ステレオカメラの利点 ② 視野の広さ 360度 10万画素相当 1千万円 10-15fps レーザーレンジ ファインダー 360度 150万画素 100万円 30fps 全方位カメラ ステレオ化した場合の予測 4 ステレオカメラの利点 ③ 処理速度の速さ ステレオ画像処理 FPGA使用：275fps （ VGA） 160fps （1312×688pix.） Intel Pentium４： 30fps （VGA ） レーザーレンジファインダー I社：25fps （縦方向4本） V社：15fps （縦方向64本） H社：40fps （縦方向1本 ） 5 研究開発の概要（２） 狙う実用化の場とその状況、課題 狙う実用化の場は衝突回避システムおよび自動運転システムに適用可 能な障害物検出システムである。 状況としては、世界的に衝突回避システムの実用化が盛んになってきて いる。また自動運転も2020年ころには実用化に近いシステムが登場すると 思われる。ステレオカメラは1社のみが実用化している。 課題として、今後それらのシステムにステレオカメラの使用が広がってい くかどうかということが挙げられる。ステレオカメラが受け入れられる社会的 受容性が最も大きなポイントとなるであろう。そのためにはいかに納得でき る信頼性（安全ではなく安心）に高めていくかが課題である。 国内外の研究開発動向 国内では、本プロジェクト以前に我々の開発したステレオカメラによる衝突 回避ブレーキシステムが発売されている。今後世界展開がなされていく。 欧米では、ステレオカメラの実用化は皆無であるが、欧州の大手部品メー カーが、今後はステレオカメラの開発に注力すると発表するなど、注目は 高まっている。我々のところへも10社を超える打診がある。 6 研究開発目標（２０１２年度 最終目標） 100ｍ遠方の障害物を検出することを目的に、これまでの高精細 リアルタイムステレオカメラに遠赤外線カメラを併用して特に逆光や 夜間の対向車のヘッドライトによる認識性能の劣化を防ぐ。 さらに、40m前方に突然割り込んでくる自動車を短時間で検出で きるように認識時間の短縮を行なう。 遠方車両の検出 割り込み車両の検出 7 研究開発目標と根拠 研究開発項目（個別テーマ） 研究開発目標 根拠 ①高速高精細ステレオカメ ラの開発 これまでのリアルタイムステレオカメラ に対し、圧倒的に高速（100fps以上）で 高精細（100万画素以上）のステレオカ メラを開発する。 これまでの車載用ステレオカメラでは、高速道路のよ うな単調で時間変化の少ない場所で使えるが、歩行 者が混在したり、飛び出しなどに対応するためには処 理時間や解像度が不足する。 ②FPGA基板の小型化 従来のフルサイズのPCIボードに代わ る、はがきサイズのFPGA基板を開発 する。ステレオマッチングの他、補正校 正、ミスマッチング低減回路も含める。 これまでの回路は規模が大きく、大型のPCを必要と した。実用化を目指すためには、小型化することが必 須となるため。 ③遠赤外線カメラのステレ オ化 10μm帯の遠赤外線カメラを2台組み 合わせたステレオカメラからの画像を 校正し、ステレオマッチングを行なって、 視差画像を出力する。 従来の可視光カメラでは逆光や対向車のヘッドライト が影響して認識率の低下が生じている。この問題を 解決する手段として、これらの光とは全く違う波長を 用いることで影響を減らすことができると考えられる。 ④障害物認識の性能向上 100m遠方からの静止車両を検出する。 40m先に割り込んでくる車両の1フレー ムの短時間での検出。 太陽光が直接入射する逆光、10mm/hr 程度の雨天、夜間における道路・立体 物を検出 これらの性能は、実用化した場合に必要な性能であ る。この他にも霧や雪など様々な気象条件があるが、 比較的よく遭遇する条件として左記の各項目を挙げ ている。 8 研究開発成果 （１） 高速高精細ステレオカメ ラの開発 160fpsの速度で110万画素の解像 度を持つステレオカメラの開発に成 功した。視差探索範囲も176画素あり、 これは現時点で世界最高性能である。 この性能により、歩行者混在の複雑 な交通環境や急な飛び出しにも対応 できる カメラコントロール・ ＰＣＩコントロール用 MV1-D1312-160 （Photon Focus社製） ステレオカメラ ステレオ画像処理・ 環境認識用 FPGAボード 得られた視差画像 9 研究開発成果 （２） FPGA基板の小型化 書込ポート カメラ接続部 はがき大の基板の試作に成功した。 性能的にはこれまでのフルサイズ PCIボードと遜色ない。これにより、大 型のPCを用いなくても安価なノート パソコンやマイコンで、視差画像や立 体物検出の結果が活用でき、ステレ オカメラの実用化が進み、自動車に 限らず、移動ロボットやセキュリティ、 FPGA 家電製品の自動化に至るまで、応用 製品が続々と現れる環境が整った。 このような基板はこれまでになく、製 品化されれば大きな反響を呼ぶこと は間違いない。 USBポート （縦84mm ×横120mm ） 10 研究開発成果 （３） 遠赤外線カメラのステレオ化 NEC殿の開発された、2台のカメラを同期化したシステムからの画像を入力して、ス テレオ処理をリアルタイムで行なうことに成功した。基板には（１）で開発したものを 用いた。信号出力の違いや温度校正のための作動停止期間が入るなど通常のカメ ラと異なる部分があるが、それについてはFPGAの修正によって対応した。VGAの 解像度でしかもビデオレートで動作する遠赤外線ステレオカメラは世界初であり、逆 光や夜間に強いという特性を生かし、よりロバストな交通環境認識を行なうシステム として完成させる。 FPGAボード 同期回路 遠赤外線カメラ 遠赤外線カメ ラ 遠赤外線ステレオカメラ 得られた視差画像 11 研究開発成果 （４） 障害物認識の性能向上 100m遠方からの静止車両検出 割込車を模擬した段ボール箱の投げ込み 距離[ｍ] 100m遠方の静止車両 40m先に割り込んでくる車両の短時間検出 フレーム[枚] 検出結果 検出結果 12 研究開発成果 （４） 障害物認識の性能向上 道路構造物の検出 ポール 街灯や街路樹、ごみ箱など 柵 駐車車両 縁石 道路環境構造物の検出結果 目標にあった太陽が直接入射する逆光、10mm/hr程度の雨天、夜間における道路・立体 物の検出は、遠赤外線カメラのステレオ処理の完成が遅れたため、実施できていない。 13 （１）個別研究開発項目の目標と達成状況 目標 成果 達成度 今後の課題 高速高精細ステレオカメ 1) ラの開発 高速（100fps以上） で高精細（100万画 素以上） 高速（160fps）で高精 細（110万画素 ◎ 低コスト化 2) FPGA基板の小型化 はがきサイズ、基本 的回路は全て含め る。 はがきより小さく、立 体物検出まで含まれ た。 ◎ 量産体制 遠赤外線カメラのステレ 3) オ化 画像を校正し、ステ レオマッチングを行 なって、視差画像を 出力する。 画像を校正し、ステレ オマッチングを行なっ て、視差画像を出力 した。 ○ 補正校正の 高精度化 4) 障害物認識の性能向上 100m遠方、割込車 両の検出。逆光、雨 天、夜間での検出 遠方、割込車両の検 出は成功。悪条件下 での検出は未達 △（H25年9 月達成予定） 悪天候下での 試験 ◎ 大幅達成、○達成、△達成見込み、 ☓未達 14 成果のまとめ 自動運転のための障害物検出を行なうことを目的して、 ステレオカメラによる検出装置を開発した。その結果 ①160fps、110万画素、探索範囲176画素の世界最高性 能のステレオカメラが開発できた。 ②ステレオ処理に必要な機能を含めた小型FPGAボード を開発し、普及の向けて前進させた。 ③VGAの解像度で30fpsのリアルタイム遠赤外線ステレ オカメラを世界で初めて開発した。 ④100m遠方からの車両検出、割り込み車両検出、縁石 やポール、街灯などの道路構造物の検出に成功した。 ⑤悪天候でのテストが十分でないので今後行なっていく。 １５