Comments
Description
Transcript
高速度画像計測の実際 - 映像情報インダストリアル
M／特集／ナック 99.3.29 15:24 ページ 19 高速度画像計測の実際 株式会社 ナック 安藤 幸司 1. はじめに 2. 高速度カメラ CCD撮像素子が飛躍的な技術成長を遂げている。 高速度カメラは、100コマ／秒から20,000,000コ 固体撮像素子とパーソナルコンピュータの発展で、 マ／秒の撮影が可能である。7タイプ程度のカメラ 高速度画像計測分野も飛躍的な向上を遂げた。こ が開発されており、その中でCCDタイプとICメモ こでは、高速度カメラ用撮像素子をはじめ特殊用 リを組み合わせた高速度カメラは、安価で市場性 途に開発されたビデオカメラと画像計測システム、 もあるため10種類程度が市販されている 1）。スポー 特に高速度画像計測分野に使われる装置について ツ分野の3次元解析にはテープ方式500コマ／秒程 スポットをあててみたい。 度のカメラ（写真1）が使われ、DLT（Direct Linear 10年前までは16mm映画フィルムが中心であった Transfer）と呼ばれる3次元解析手法によって、バッ 高速カメラも、今やCCDカメラを中心とした固体 トスィングの速度や短距離・長距離走の体の動き 撮像素子に主役の座を譲り、撮影したその場から を捕らえている。リハビリテーション分野では人 データ解析ができるまでになった。フィルムカメ 体の動きがそれほど速くないので、通常のCCDカ ラの利用は高解像力に重きをおいた宇宙開発、コ メラもしくは200コマ／秒程度のカメラが使われ マーシャル映画分野、劇映画、極限での撮影（砂 る。また、自動車安全実験用として耐衝撃性に優れ 漠のドキュメント、アフリカ探検など）に限られ たカメラも開発され使用されている（写真2） 。 てきている。一方、ビデオカメラを使った高速度 画像計測は、リアルタイムなデータ解析に重きを おいた分野に有効で、スポーツ分野（バイオメカ ニクス） 、医療（リハビリテーション） 、モーショ ンキャプチャ、自動車安全実験、マシンビジョン、 ロボット工学分野を中心に重要な役割を担うよう になっている。 そこで、本稿では、高速度ビデオカメラとそれ を用いた画像解析手法システムの概要について述 べる。 写真1 VHSテープ式カラーハイスピードカメラ HSV-500C3 October 1998︱ 19 M／特集／ナック 99.3.29 15:24 ページ 20 となり、120コマ／秒の撮影速度が必要である。 露出時間は、動きの速い現象を静止させる重要 なファクタである。カメラ側にシャッタがない場 合には、ストロボなどの外部光源で露光を行う。 市販のCCDカメラの電子シャッタは1/1,000秒、研 究分野では、100ナノ秒程度の電子シャッタを切れ るものがあり（写真3） 、さらにイメージインテン 写真2 小型一体型カラーハイスピードビデオ 「MEMRECAM Ci-4」 シファイアと呼ばれる電子管（写真4）を用いると 3nsまでの露光が可能となる。 また、CCD撮像素子は、撮像面の温度管理を十 分に行うことによりフィルム以上の階調（16ビッ 高速度カメラに求められる主な要求は、 ト=1:65,000）を持つものが現れた。さらには、 2,000×2,000画素で15コマ／秒の撮影ができるCCD カメラも開発されるに至っている（写真5） 。 ・撮影速度 高速度カメラでは記録できる枚数も重要なファ ・露光時間 ・記録時間／記録枚数 クタとなる。ほとんどのカメラはICメモリを採用 ・レンズ しており、搭載できるメモリ容量には限界がある。 ・操作性 320MBのRAMメモリには、256×256画素8ビット ・拡張性 画像が5,000枚程度格納できる。圧縮技術を用いれ ば記録枚数は増やせるが、圧縮工程に時間がかか り撮影速度に追随できないことや、M-JPEGやGIF である。 撮影速度は、現象の動きを確実に捕らえる重要 なファクタである。物体が振動もしくは回転する などの圧縮映像は解析に不向きといった問題が指 摘されている。 ものであれば、想定される周波数の10倍程度高い 撮影速度が必要となる。並進運動する物体であれ ば、撮影範囲内に20枚程度の画像を捕らえなけれ ばならない。30m／秒で移動する物体を5mの範囲 で撮影するには、 3. 画像計測 前にも述べたように、画像から得られる情報は、 位置情報と濃度情報（カラー情報） 、時間情報であ る。1枚の映像は、 （30m/s×20）/5m = 120/s X、Y、DR、RG、DB、T 写真3 電子シャッタカメラ PCO社「SensiCam」 20 ︱eizojoho industrial 写真4 イメージインテンシファイア 内蔵CCDカメラ PCO社「DiCam-Pro」 写真5 2,048×2,048画素15コマ／秒 CCDカメラ SMD社「4M15」 M／特集／ナック 99.3.29 15:25 ページ 21 の6つの次元を持っている。2枚の画像の関係が特 定されているとき、ターゲット情報は3次元情報を a 最初に追跡するターゲット1フレーム分を、手動 でクリックして覚え込ませる。 構築することができる。すなわち、 s コンピュータはクリックされたポイントとその X、Y、Z、DR、RG、DB、T d 自動追跡を行う手順に入る。コンピュータは前 サーチエリアをメモリする。 のフレームでメモリされた濃度情報をテンプレ ートとして追跡するエリアに当てはめ、1番近い となる。 通常、CCDカメラからの画像は500×500画素程 位置を特定する。 度あり、濃度情報も8ビット程度である。色情報は f 追跡する際に利用されるアルゴリズムは、カル 視認性の点では有効であるが、画像処理を行う場 マンフィルタリングと呼ばれる線形予測法を利 合3倍の容量を確保しなければならず、また、 用する。これでターゲットがどれだけ移動して NTSC信号のカラー情報は65TV本以上の細かい情 いるかのおおよその見当をつける。 報については色情報がなく輝度情報しか持たない g ターゲットは被写体が移動する間、回転や倍率 関係上、輝度情報による画像処理が一般的である。 の変更、陰影によるコントラストの変化、撮像 カラー情報で画像処理を行うには、RGBカラーカ 素子のノイズによってオリジナル画像と一致し メラをRGBケーブルを介してRGB別々のファイル ない。これらの不一致を判断する手法として、 で格納しておく必要がある。 フーリエ・メリン変換手法を与えてターゲット コンピュータが画像からターゲットを読み込む とき、コンピュータに予めターゲットの特徴を覚 え込ませておく必要がある。ターゲットは通常図 が移動した方向の確かさを検証する。 h 最終的に移動したターゲット位置の確かさをオ リジナルテンプレートを用いて算出する。 1に示すようなマーカが選ばれる。実際に撮影さ れるターゲットマーカは、CCDの撮像面で画素に これら画像追跡のアルゴリズムは、米国宇宙開 割り当てられるがコントラストよく撮影されるこ 発で宇宙船がドッギングする際に、画像を用いた とはまれで、図1のようなぼやけた像となる。コ 位置合わせの画像処理技術を元にしており、この ンピュータはこれらを検出し、濃度と位置で重み 技術をさらに使いやすく改良を加え、「Image をつけて重心位置を計算する。これらのアルゴリ Express」 （写真6）として商品化された。 ズムでは、リング形状のターゲットが良好な位置 検出を行っている。 図1 ターゲットの画素分布 ターゲットを自動的に追跡するプログラムでは、 さまざまな補正プログラムが追加されている。太 田の報告 によると自動トラッキングのプロセス 2） は、以下のように行われる。 写真6 ターゲット自動読み取り装置 「Image Express」 October 1998︱ 21 M／特集／ナック 99.3.29 15:25 ページ 22 この装置は、自動車安全実験のデータ解析によ アが広い場合は、土木工事で使われるトランシッ く使われている。自動車安全実験は新車を衝突破 トを用いてリファレンスターゲット座標を特定す 壊させる関係上、実験が高価となるため1度に多く る。3次元解析には「MOVIAS」と呼ばれるオプシ のデータを取得する。10∼15台の高速度カメラを ョンパッケージを使用する。 使用し、得られた画像からダミーの挙動、車の変 形を計測する。従来、こうした画像計測は1枚1枚 人手によって計測ポイントを抽出していた。しか 4. 3次元高速画像計測装置「VICON」 し、この座標抽出作業は非常に手間のかかる作業 で、自動化が求められていた。1970年代後半より 自動化の試みが幾度となく試みられたが、人間の 判断の方が格段に優れ普及には至らなかった。 1990年代になってコンピュータが高性能・低価格 化し、米国の軍用テクノロジが一般産業へ参入で きるようになって、飛躍的な発展を見るようにな った。 自動車実験の公的機関である日本自動車研究所 （つくば）では、ビデオ画像（ナックMEMRECAM Ci）と自動読み取り装置（Image Express）を用い た計測精度の実験を行い、ターゲットの読み込み 精度が0.3画素以内という結果を得ている 3）。 ターゲットマーク自動読み取り装置（Image Express）は、心臓部にPentium Pro 200MHzプロセ ッサを2基搭載し、640×480画素24ビットフルカラ ー15,000枚分の画像ターゲットを読み取り、解析 写真7 動体3次元計測システム Oxford Metrics社「VICON」 を行う。システムは64MBRAM、HDD4.5GBを搭載 し、WindowsNT4.0環境で操作する。非常に大量の 映画「Titanic」が未曾有の興行成績を上げた。 画像データを蓄え、かつビデオテープからの画像 ストーリー性もさることながら時代考証とCG（コ を読み込む必要上、システムにはPanasonic AG7350 ンピュータグラフィックス）のすごさを見せつけ VCRが搭載され、30コマ／秒でハードディスクに ている。タイタニック号の甲板を歩いている人々、 蓄えられる。ターゲット抽出ポイントは1フレーム 沈没する際に海に投げ出される幾多の乗船者のシ 50ポイントまで指定できる。得られた画像は、画 ーンは、実はすべてCGで制作され、生身のエキス 像データとともに位置変位、速度、角度処理され トラはひとりも使っていない。このシーンを作る てウィンドウ画面上で表示できるようになってい にあたって、人体の動きのデータが「VICON（バ る。 イコン）」と呼ばれる3次元データ構築装置で採取 複数台のカメラからターゲットを抽出し、この データをもとに3次元計測を行うこともできる。3 され、米国デジタルドメイン社の技術によって肉 付けされた。 次元計測するためには、各カメラに予めカメラが この装置は、1979年英国Oxford大学Julian Morris どの位置で被写体を捕らえているかの定位付けが 博士によって開発されたものである。彼は医学療 必要である。座標補正には、撮影エリア全般に座 法の義手義足の開発に3次元画像計測が有効と考 標のよくわかったターゲットポイントを16点程度 え、このシステムを開発した。医学療法での歩行 写し込み、ターゲットの正確な3次元座標を入力し 分析研究は、VICONの導入により急速な進歩を遂 てカメラ画像面の座標軸を特定させる。撮影エリ げている 4）。 22 ︱eizojoho industrial M／特集／ナック 99.3.29 15:25 ページ 23 システムの骨子は、以下の通り。 には、同軸方向から投射できる光源（ハロゲン ランプ、LEDライトなど）が搭載されている。 Viconの特長 撮影する被写体の動きの速さによって、60Hzか ら240Hzまで3種類のカメラが用意され、サンプ リング容量は、システムで32,000フレーム分確 ● Oxford大学 Dr.Julian Morrisにより1979年に開発 → 歩行分析分野 ● 2次元センサを使った多地点同時計測 → 3次元計測 ● サンプリング周波数：60Hz、120Hz、240Hz ● サンプリング容量：32,000フレーム → 60Hz、4台カメラで2分10秒max → 60Hz、7台カメラで1分16秒 ● サンプリングポイント：28ポイント／人 ● データ読み込み：520×252画素を1,024×490に変換 ● マーカの中心座標：重心法による中心計算 ● キャリブレーション：Static手法とダイナキャル手法 ● GSI-@（Geomatric Self Identification） マーカの特定作業、簡便なマーカ特定 保されている。 d データを採取する前に、カメラの座標軸を決め るためのキャリブレーションを行う。これには 「Dynacal（ダイナカル） 」という手法を採用して いる。ダイナカルとは、ダイナミックキャリブ レーションの略で、従来の静止したキャリブレ ーション構造物を写し込む手法と異なり、基線 長500mmに配置されたターゲットマーカ球2個の スティックを使い、オペレータが撮影エリアの 全域にわたって振り回していく。カメラはステ ィックが振り回されている間中、マーカ座標の 採取を続け（約10秒） 、データサンプリング終了 後キャリブレーション処理に入る。ダイナカル オプションソフト 手法はキャリブレーションがとてもやりやすく、 処理時間が従来の手法に比べ1/4に短縮された。 f 使用するコンピュータは、WindowsNT、UNIX ● VCM：日本国内で作ったソフト 関節中心座標を求めるソフト ● VCE：（VICON Clinical Evaluation） 、簡易ソフト ● VICONレポータ：3次元データ出力、ASCII出力 1枚の用紙に他種類のデータを呼び出すことが可能 ● ボディビルダ：VCMが下肢に対し、ボディビルダは 体表面に対する関節中心を求めるソフト ● DIFF（Data Interchange File Format） 臨床歩行分析懇談会が作ったフォーマット マシンでCPU200MHz以上、RAM64MBが推奨さ れる。 VICONはCCDカメラを使って画像を取り込む が、画像データはデータ処理部（データステーシ ョン）で反射マーカの位置情報だけに変換される。 人体を構成するマーカは、1体当たり28個と決めら れている。現行のデータステーションでは、メモ リ領域が32,000枚分なので、カメラサンプリング 周波数、使用カメラ台数、計測マーカ点数によっ a 被写体にスコッチライトと呼ばれる球形反射マ て最終的な記録時間が求まる。 ーカを用い、人体の間接部に取り付ける。スコ データ集録後ポイントを結んでワイヤフレーム ッチライトは光の反射輝度が白紙の1,000倍以上 （スティック像）を定義する。この作業が実は大変 あり、入射した光の方向と同じ方向に反射する な作業で、初期の頃のシステムではカメラごとに という指向性を持っている。この特性を利用し マーカの位置づけを確認し定義しなければならな て、カメラ光軸方向から反射マーカに向けて光 かった。 「VICON370システム」では、マーカの位 を照射する。光源には、タングステンランプ 置づけを1回行えばよく、カメラごとの位置づけは （広範囲）、LED赤外パルス光源（狭範囲）など 必要ない。これがVICONの大きな特長となってい が使われる。 る。得られた複数台からの座標データは、当然の s カメラは被写体に取り付けられた反射マーカの ごとくカメラによって見方が違うため、すべての 最高輝度部分だけを抽出する。このためカメラ カメラにわたって座標ポイントの特定をしなけれ October 1998︱ 23 M／特集／ナック 99.3.29 15:25 ページ 24 ばならない。VICON370は、3次元化された画像画 クス、歩行分析、映画産業、ゲーム産業、ロボッ 面を見ながらターゲットに名前を入れていくとい ト工学などへの応用も進むだろう。VICONシステ う作業ですべてのカメラからの座標データを特定 ムにおいても、歩行分析、CGデータ採取、ゲーム するという能力を持っており、かつ画面で見えに ソフトのデータ採取のみならず、ロボット開発に くい箇所はズームアップしたり視点を変えたりし も大きな可能性を秘めている。人間の動きを数値 ながらマーカを特定できる。これはGSI-2 化してロボットに習わせる、あるいはロボットの （Geometric Self Identification：マーカの特定作業） 動きを比較するなど、すでに利用は始まっている。 と呼ばれる手法で、1993年7月にVICONのユーザ が開発した。 VICONのデータの読み込みは520×252画素であ り、これを1,024×490でコンピュータに置き換え る。マーカの中心座標は重心法で求める。 ☆!ナック 営業技術部 3 03-3404-2321 6 03-3479-1402 VICONは、開発背景が歩行分析にあるので、人 体のアナログ計測装置（床反力計、筋電計）デー タを同時に取り込むことができる。アナログデー ［ 参考文献 ］ 1）高速度カメラの歴史 タは64chまでデータステーションで記録し、マー URL=http://www.dango.ne.jp/anfowld/high- カ軌跡と同時解析できるようになっている。 speedcameras.html は人間の 2）太田和彦、Etienne Marcheret、画像処理技術 腕、指の計測の予備段階として、VICONの計測精 における自動トラッキングプロセス法と精 度を報告している。これによると彼らは、4台の 度、高速度撮影シンポジウム’97、pp.143- 200HzのCCDカメラと9mmの反射マーカを使い、 148、1997年12月 VICONの計測精度について、武井ら 5） 200×200×200mmの計測範囲で計測誤差0.1mm、 標準偏差0.22という結果を出している。 3）押久保健、デジタルハイスピードビデオカメ ラの光学性能評価、自動車研究、第19巻第 12号、1997年12月 5. おわりに 以上、高速度カメラを用いた3次元計測の現状に ついて概括した。 コンピュータの発展に伴い解析処理アルゴリズ ムも洗練されてきている。今後は、バイオメカニ 24 ︱eizojoho industrial 4）Oxford Metrics社 VICON URL=http://www. metricsnet.com/ 5）武井秀之、青柳誠司、高野政晴、関西大学、 人間の指の動作解析とロボットハンドへの応 用─概念とVICON370を用いた予備実験、 1997年9月