三次元形状計測－基礎と応用

三次元画像‫ٽ‬測の最新動向
− 見えてきたリアルタイム‫ٽ‬測 −
大‫ޥ‬大学大学院基礎工学研究科 佐藤宏介
Email: [email protected] １ はじめに
本稿では、画像センサを用いる物体形状とその光沢のセンシング
について 、 その ‫ٽ‬測原理 を 紹介 する 。それらの実装例と、外観検
査 の 自動化以外 にも コンピュ ー タグラフィクス （ＣＧ）やマルチ
メディア処理にこれらの画像‫ٽ‬測が求められている。
外観検査としての形状検査と光沢検査とは、それぞれ表面形状の
表面性状の৓‫ٽ‬値とのずれを検査するものであり、別個の検査項目
である 。 もし 、物体 を 照 らしている 光源を制御することができれ
ば 、例 えば 配置 が 既知 の 点光源を用いることができれば、形状と
光沢 とを 、形状 の 微分値 といえる 法線 ベクトルを介して関係付け
ることができる（図１）。なぜなら、光沢は物体表面の法線ベクト
ル を 基準 に 入射光 の 正反射方向 にカメラが配置される場合のみ観
測されるからである。
制御された光源
法線ベ
クトル
観測カメラ
物体形状
図１ 形状と光沢
また、従来ＣＧでは、表現したい物体の形状と表面性状をモデリ
ングツ ー ル を 使 って ユ ーザが定義してきたが、最‫ة‬では、実在す
る物体を実測して、モデリングすることが多くなってきた。まだ、
デジタイザ を 用 いた 形状 の 実測 と、テキスチャマッピング用の画
像撮影あ主である。三次元物体を２Ｄの撮影画像の集合で３Ｄ−Ｃ
Ｇ表示 する イメ ー ジベ ー スドレンダリング と呼ばれるワプローチ
が 注目 されており 、単 に テキスチャ 画像 を得るだけではなく、他
の 表面性状 についても 画像‫ٽ‬測 によって 実測 することが 望まれて
いる。
・৓‫ٽ‬段階
・CADデータ入力（クレイモデル、体型など）
・加工段階
・組立ロボット（ശ品判別）
・物流システム（仕分け、位置決め）
・無人搬送車（障害物検知）
・検査段階
・外観検査（はんだ盛りなど）
・寸法検査
これらの分野では、対象物体に೗接触でかつ人間の作業が‫ٽ‬測に
介在 しない 省人化 された ‫ٽ‬測 が 行 えることが必ॲな条件となる、
さらに 工業用 として 、‫ٽ‬測精度 が ݄ いこと 、‫ٽ‬測が対象や環境に
よらず安定なことが強く要求される。
２．１ 受動‫ٽ‬測法
ここで೗接触な三次元‫ٽ‬測は、まず大まかに能動的手法と受動的
手法 とに 分 けられる 。能動的手法 とは 、三次元情報 を取得するた
めに 、巧 みに 制御 され 、 その 形状パターンや濃淡、スペクトルな
どに 対 してなんらかの 意味 を 持 った エネルギー（光波、ஏ波、音
波など）を対象に照射する手法のことを指す。逆に受動的とは、対
象に対して環境からのエネルギー（外光など）は存在するにせよ、
‫ٽ‬測 に 関 して 意味 のある エネルギ ーを利用しない‫ٽ‬測のことを‫ۄ‬
う 。一般的 に 能動的 な 手法 の 方が、受動的なものより‫ٽ‬測の信頼
性が݄くなる。
受動的手法の代表的なものが写真測量におけるステレオ画像法で
ある 。二台 の カメラ あるいは 一台 の カメラを時間的に移動させて
同一対象 の 視点 の 異 なる 二枚 の写真や画像で得て、それを用いて
三ӿ測量 を 行 なうものであり 、一方 の カメラ に見えている場所が
他方のカメラではどこに映っているかを決め、そのずれの量から奥
行きが求められる。
２ 形状の画像‫ٽ‬測
生産の自動化、オンライン化に不可欠な基本要素として工業用の
三次元‫ٽ‬測技術 が 重要視 されている 。特 に 、以下 のような৓‫・ٽ‬
加工・検査の各段階の自動化に三次元‫ٽ‬測が期待されている[1]。
図２ リアルタイムステレオカメラTriclops
を避けている。
しかし、一般的には工業応用には、次章に述べる能動的な‫ٽ‬
投影パターン
光源
!+#$%
!"#$%
カメラA
ハーフミラー
対象
カメラB
)*
)*
&'(
&'(
図５ スポット光投影法 図７ スリット光投影法
図３ レンズ焦点法
,-.%
"+/01(23456
%<=>0?
789:1(2;456
図６ 同期走査型光学系
測法が用いられることがほとんどである。
図４ レンズ焦点法を原理とするリアルタイムレンジファインダ
（コロンビア大学）
この二つの画像間で同じ場所がどこにあるかをいかに効率よく探
し 出 すことが 問題 となり 、現状 では 人間のオペレータが目視で対
応点 の 指示 を 行 っている 。‫ٽ‬算機 が自動的に二つの入力画像中か
ら 対応点 を 発見 することは 今 のところ 難しく、あいまい不確かな
結果しか得ることができない。そこでカメラを３台以上用意し、直
交配置 することで ステレオ 対応点 のあいまいさを 減 ずる システム
が実用化されるようになってきた。
例 えば 、 ソニ ーは本年の SIGGRAPHでＸ字型に配置された５眼
カメラと専用対応点探索プロセッサからなるリア ル タ イ ム ス テ レ
オマシンを技術展示した。PointGreyResearch社の開発した３眼
ステレオ 装置 であるTriclopsは 、160*120画素の‫ס‬離画像を 毎秒15
フレーム‫ٽ‬測できる（図２）。奥行き分ӂ能は݄くないが、従来ス
テレオ処理は‫ٽ‬算負荷が重くソフトウェアにな
じまないをとされてきたが 、 Pentium266MHz上 で 動作 する プ ロ
グラム が リアルタイム で ‫ס‬離画像 を 出力 する様子は一つのブレー
クスルーと‫ۄ‬ってよい。
受動的な方式には他に、レンズ焦点法がある。図３に示すように、
ハ ー フミラ ー や プリズム を 利用し、同࠰上に２台以上のカメラを
৓置 する 。 それぞれの カメラ の ピント 位置をずらし、同一の視点
でぼけ 味 の 異 なる 画像 を 得る。ぼけは対象物体の奥行きに応じて
変化するので、局所的なぼけ量の差異から奥行きを決定することが
できる 。 ぼけ 量同定 の ‫ٽ‬算負荷 は 比ԁ的軽く、リアルタイム‫ٽ‬測
に 適 しており 、 コロンビア 大学等 が リアルタイム装置を実現して
いる（図４）[2]。
このレンズ焦点法を含めて受動的な‫ٽ‬測法には、共通する基本的
な 問題点 がある 。 それは 、対象物 の 中でも表面の明暗が急変して
いる 場所（ エッジ ） しか 対応点 を 決定することができないので、
模様 のない 一様 な 表面 を 持 っている物体には対しては、対象全体
の三次元‫ٽ‬測を行なうことができないことである。そこで、図４の
装置 も 図３ に 示 すのように 、 チェッカフラッグ模様のパターン光
源 で 強制的 に 物体表面 に エッジ を付けることによって、この問題
２．２ 能動‫ٽ‬測法
表面の反射特性や形状、模様が異なる種々の物体を対象として、
様々 な 状況下 で 三次元‫ٽ‬測 するためには 、‫ٽ‬測装置 に制御された
光 を 対象 に 照射 して 、 その変位を‫ٽ‬測する能動的な方法の方が、
多 くの 面 で 有利 である 。‫ٽ‬測装置 として光を投影するプロジェク
タが必要になるが、‫ٽ‬測の空間分ӂ能、‫ٽ‬測時間、‫ס‬離分ӂ能、‫ٽ‬
算コストなど多くの点で優れている。実用的な‫ٽ‬測を考えた場合、
その利便性は極めて݄い。
光投影による三次元‫ٽ‬測は、ステレオ画像法における対応点検出
の 困難 さを 避 けるため 、一方 の カメラを光を投影するプロ測法が
用いられることがほとんどである。
２．２ 能動‫ٽ‬測法
表面の反射特性や形状、模様が異なる種々の物体を対象として、
様々 な 状況下 で 三次元‫ٽ‬測 するためには 、‫ٽ‬測装置 に制御された
光 を 対象 に 照射 して 、 その変位を‫ٽ‬測する能動的な方法の方が、
多 くの 面 で 有利 である 。‫ٽ‬測装置 として光を投影するプロジェク
タが必要になるが、‫ٽ‬測の空間分ӂ能、‫ٽ‬測時間、‫ס‬離分ӂ能、‫ٽ‬
算コストなど多くの点で優れている。実用的な‫ٽ‬測を考えた場合、
その利便性は極めて݄い。
光投影による三次元‫ٽ‬測は、ステレオ画像法における対応点検出
の 困難 さを 避 けるため 、一方 の カメラを光を投影するプロジェク
タ に 置 き 換 えたものと 考 えれば理ӂしやすい。プロジェクタから
その 形 や 方向 を 制御 され 投影される光のことを、構造化された光
（StructuredLight） と 呼 び 、 その 様々な形状パターンによりこ
の方式の三次元‫ٽ‬測が細分໸される[3]。
●単純スポット光投影法
図５に示すように、レーザビームを対象に投影してできる輝いた
スポット を 異 なった ӿ度 から カメラ でとらえ、レーザ光源とカメ
ラ 、 スポット で 三ӿ形 を 構成 し、スポットの三次元位置を求める
ものである 。物体全体 を ‫ٽ‬測 するために レ ー ザスポットは二࠰ス
キャナにより二次元走査される。カメラに映るスポットは通常十分
輝度 が ݄ く 、簡単 な ピ ーク検出で画像中での位置を決定できる。
この方式は単純な原理で信頼性良く‫ٽ‬測が行なえる利点があるが、
一点 の ‫ٽ‬測 に 一回 の 画像入力 を必要とするため、分ӂ能の݄い‫ס‬
離画像を得ようとすると‫ٽ‬測時間（ｎ ｎ画素の‫ס‬離画像の場合、
ｎ2回 の 画像入力 を 必要 とする）をかなり要する問題がある。そこ
で テ レ ビ カ メ ラ の 代 わ り に 、 二 次 元 PSD （ Position Sensitive
Device）や一次元PSDを二つ直交させたものを用いることが多い。
そうすると 、一点の‫ٽ‬測は数m秒で行なえ、‫ٽ‬測の݄速化が可能で
ある。
●同期走査型スポット光投影法
カナダのNRCは、レーザビームとPSDを用いて、毎秒15,750回転
するポリゴンミラーと毎秒60回往復する副走査単板ミラーで投光系
と 受光系 を 同期 させながら 走査 する シンクロナイズドスキャニン
グ と 呼 ばれる 方法 で 、512 420点 の三次元形状をビデオレートで
‫ٽ‬測 する 装置 を 開発 した[3]。図６ に 本法の特徴となる同期走査に
よる光学系を示す。この光学系では、光センサに結像されるスポッ
ト 光像 の 位置 が 、同 じ 奥行きの対象に対してはスポット光の走査
位置によらず一定となるように考えられている。このことにより、
光センサの素子数を有効に利用することができ、‫ٽ‬測精度の向上を
図 ることができる 。単純 スポット 光投影法 に 比 べて一桁程度の精
度向上が可能となっている。
●スリット光投影法
スリット光投影法では、図７のように、スポット光の代わりに一
本のスリット光を投影する。一回の画像入力でスリット光の当たっ
ている 場所 の 三次元位置 が 、 カメラ の走査線の数だけ同時に‫ٽ‬測
できる。そこでスリット光の投影方向を少しずつ変化させながら、
‫ٽ‬測対象を一次元的に走査すれば対象全体の三次元形状が得られる。
ｎ ｎ画素の‫ס‬離画像を得ようとする場
合、ｎ回の画像入力だけですみ、スポット光投影法に比べてｎ倍݄
速に‫ٽ‬測できる。
‫ٽ‬測の信頼性が݄いうえ、比ԁ的システムが単純なため、この方
式 に 基 づく レンジファインダ がもっとも 実用 に供され、現在では
いくつかの 製品 も 出 されている 。 すべての 処理を専用ハードウェ
ア で 行 なう ݄速 な システム も 多数開発 されている 。 ミ ノ ル タ の
Vivid-700は256 256画素の‫ס‬離画像を0.5秒で‫ٽ‬測できる（図８）
[4]。
●モアレトポグラフィ
スリット光を多数並べたともいえるようなストライプ状の光パター
ン （図１０） を 投影 するものが モアレトポグラフィ である 。‫ٽ‬測
物体 の 直前 に 格子 マスク を 置き、点光源で照明すると、光線は格
子マスクを通って明暗のストライプパターンを物体上に形成する。
このパターンは物体の形状にしたがって変形を受け、光源とは離れ
た 位置 から 同 じ 格子 マスク を通してカメラでこれを撮像する。カ
メラ と 格子 の 開口ശ を 結 んだ直線上に、ストライプの光の縞が一
致 したときのみに 明 るく 見 える 。 この明るく見えるശ分で形作ら
れるパターンがモアレパターンであり、物体の等݄線となる。
モアレトポグラフィは、一回の画像入力で、つまり投影光の走査
なしに、すべての場所の三次元位置が求められる利点があるため、
動 きがある 対象 や 固定 することが 難 しい対象、例えば人体の‫ٽ‬測
などにしばしば 用 いられている 。従来、凹凸 の 判定 ができない こ
と（凹でも凸でも同じモアレパターンを示す）、対象物の奥行きの
相対変位 しか 分 からず 絶対‫ס‬離 が 求 められないなどが欠点とされ
てきた。しかし最‫、ة‬動きのある対象のモアレ像を動画像ӂ析し、
モアレの次数を決定することが専用ハードウェアで可能になった。
図９は、この原理に基づく商用のリアルタイム形状‫ٽ‬測装置応用‫ٽ‬
測研究所QuickPhaserである[5]。
●傾斜光投影法
スリットやストライプパターンのように、光の強度がストライプ
ごとにオンオフされたディジタル的なものではなく、濃度
図１０ モアレマスク 図１２ コード化パターン
図８ スリット光投影法を原理とするリアルタイムレンジファイ
ンダ（ミノルタVivid-700）
図１１ 傾斜光パターン
図９ モアレトポグラフィを原理とするリアルタイムレンジファ
インダ（応用‫ٽ‬測研究所QuickPhaser）
図１２ グレイコードパターン
や色が滑らかに変化しているアナログ的な光パターン（図１１）を
投影するものがあり、傾斜光投影法と呼ばれている。
プロジェクタからの投影方向に応じて強度を変化させ、その変化
の 方向 を 逆 にした 二枚 の 光パターンを作る。その二枚を順次対象
に 投影 し 、二枚 の 入力画像 を 得る。光強度の変化分から投影方向
を 決定 することができる 。二回 の 投影 で 対象全体の‫ס‬離画像が‫ٽ‬
測 できる 優れた方法であるが、S/Nのよいカメラが不可欠で、凹ശ
の‫ٽ‬測に弱いという欠点がある。松下ஏ器産業が、NTSCの奇偶フィー
ルド をそれぞれ 左右 レ ー ザ 光源 の投影に振り分け、フレーム時間
でリアルタイム‫ٽ‬測可能なレンジファインダを開発している。
白‫ݗ‬の光の強度を変化させる代わりに、色のスペクトルを変化さ
せたものに 、RainbowRangefinderがある 。 これも同じく、色分
布 の 違 う 二枚 の 光 パターンを投影し、色変化の差から投影方向を
決定する。
常の二進符号を用いている）。ｎビットの二進数で符号化された光
パタ ー ン を 用 いれば、測定空間は２nの細いくさび状の領域に分割
される 。 この 一 つ 一 つの 領域がスリット光に見なすことができ、
ｎ枚 の グレイコ ー ドパタ ーンの投影は、２n本のスリット光を投影
していることと等価となる。
実際のグレイコードパターンの投影には、液晶プロジェクタを用
いる 。細 い ストライプ 状 の シャッタ 列からなる液晶マスクで、一
つ一つのストライプのオンオフを組み合わせ、グレイコードパター
ンをஏ子的に生成する。
図１４は、ポリゴンミラーとレーザ光源のスイッチングでグレイ
コ ー ドパタ ー ン を 投影 する名工大が開発した商用のリアルタイム
形状‫ٽ‬測装置、CubicScopeである[6]。
２．3 チップ化センサ
●コード化パターン光投影法
これまで述べてきたような構造化光を投影する能動的な三ӿ測量
法 では 、 プロジェクタ から 投影 している 光の方向情報を、いかに
して 投影光 に 埋 め 込 むか 、いかにして入力画像から投影方向を抽
出 するかが 、各手法 の 特色 となっている 。傾斜光法 では投影方向
が光強度で変調されていた。別の考え方として、投影方向に関する
情報特殊 な 模様 で コ ー ド 化したような光パターンが考えられてい
る。これらはコード化パターン光投影法と総称されている。
例えば、カラーテレビのシャドウマスクのように RGBのセグメン
ト を マトリクス 状 に 並 べ 、投影方向に応じて配置パターンを組み
合 わせたものや 、PNシ ー ケンス と呼ばれる一種の最大ଥ系列符号
（Ｍ系列符号） で 、 ドットパタ ー ン の 連結を切り替えるものがあ
る（図１２：模式図）。
コード化パターン光投影法は、モアレトポグラフィのように一回
の 投影 で 済 み 、 しかも 絶対‫ס‬離が‫ٽ‬測できるというもっとも望ま
しい 手法 ではあるが 、 コ ー ド の復号化に‫ٽ‬算コストの݄い画像処
理 を 要 するうえ 細ശ の ‫ٽ‬測 が難しく、簡便で݄速な‫ٽ‬測手法とは
認められていない。
●グレイコードパターン光投影法
比ԁ的少ない光の投影回数で十分に分ӂ能の݄い‫ס‬離画像が信頼
性݄ く 得 られ 、 しかも 装置 が単純であるものに、著者が開発した
グレイコ ー ドパタ ー ン 光投影法 があり 、工業‫ٽ‬測用途に利用され
始めている。
プロジェクタからは、明暗のピッチが倍々に変わっていく二進コー
ド 化 された 光 パタ ー ン が順番に投影される。実際に投影されるパ
タ ー ン は 図１３ のような グレイコ ード（交番二進符号）と呼ばれ
る特殊な二進コードを用いる（図では説明のため、通
図１４ グレイコードパターン光投影法を原理とするリアルタイ
ムレンジファインダ（CubicScope）
最‫ ة‬CMOS撮像技術 の進歩で、‫ס‬離の‫ٽ‬測機能を持たせた微小素
子 を 、 シリコンチップ 上 に 格子状 に多数集積したセンサが研究さ
れるようになってきた)。例 えば 、画像 センサ に ビデオカメラ を用
いた 方式 では 、一本一本 の スリット 投影 ごとに入力画像中に映っ
ている スリット の 位置 を 求 めて 三次元位置を算出している。対象
全体 を ‫ٽ‬測 するために スリット 光 を 連続的に走査してはいるが、
瞬間的にはスリット光の投影方向は固定しているものと考え、カメ
ラ の 視線方向 の 方 を 測定 している。これに対して、新しく研究が
進 められている チップセンサ は 、画像 センサ の 一画素ごとに視線
方向 を 固定 し 、 その 視線 と物体が交差する点の三次元位置を、逆
に スリット 光 が 当 たる 方向 の測定から得るものである。画像セン
サの一つ一つの画素が、スリット光の検出とスリット光の投影ӿ度
の デ ー タ の 保持・転送 の 機能を持っているところに特徴がある。
図１５ は 、 ソニ ー と 筆者 が開発したリアルタイム形状‫ٽ‬測装置、
Silicon Range Finderである[7]。
(b)三次元‫ٽ‬測チップセンサ
図１５(a)チップ化センサを応用したリアルタイムレンジファイン
ダ（ソニーSiliconRangeFinder）
３ 光沢の画像‫ٽ‬測
一般に、対象物体の反射特性は、拡散反射成分と؈面反射成分の
和 で表現される。拡散反射とは、Lambertの法則で定義された反射
特性 であり 、 その 反射光強度 は 入射ӿ の余弦に比例し観測方向に
は 依存 しない 。Phongは 経験的 に ؈面反射光成分 を、正反射方向
と 観測方向 との 内積 の ݄次関数 で 表現した。これには理論的な背
景 はないが 、実験 で 得 られた 反射特性 を‫ة‬似したもので、入射ӿ
が浅ければ、他の理論モデルによく合うことが報告されている。
参考文献
[[1]井口征士,佐藤宏介,三次元画像‫ٽ‬測,昭晃堂.
[2] S. K. Nayar, M. Watanabe, and M. Noguchi, Real-Time
Focus Range Sensor, Technical Report CUCS-028-95,
November 1994. IEEE Transactions on Pattern Analysis
andMachineIntelligence,toappearin1996.
[3] M. Suk, S. M. Bhandarkar (1992): Three-Dimensional
ObjectRecognitionfromRangeImages,Springer-Verlag.
[4]http://www.minolta.co.jp/japan/rio/vivid/index.html
[5]http://www.okk-inc.co.jp/qpemp1.html
３．１ ‫ٽ‬測原理
[6]
拡散反射成分、؈面反射成分は(1)式に示したようにそれぞれ
http://hilbert.elcom.nitech.ac.jp:8080/CubicscopeHP/inde
の特性に応じて変化しているため、図１に示すような、光源--物体
x.html
面--カメラの位置関係を動的に制御しその輝度をଵোすることで、
[7]横山敦
,佐藤宏介 ,芦ケ原隆之,井口征士:無調整型ホトVLSIセン
逐次‫ة‬似法等 で 、 それぞれの 成分 を 分離、決定することが可能で
サ
を用いた実時間‫ס‬離画像‫ٽ‬測−シリコンレンジファインダ−,
ある。
ஏ 子 情 報 通 信 学 会 論 文 誌 , Vol. J79-D-II, No. 9, pp.
まず、２章で述べたような形状‫ٽ‬測装置によって獲得した形状デー
1492-1500(1996).
タ をもとに 、物体面上 の 注目点 における 三次元位置および法線ベ
[8]日浦慎作,佐藤宏介,井口征士,対象物体の回転による形状と反射
クトルを算出する。次に、求めたデータおよび光源--物体--カメラ
率 の 同時‫ٽ‬測,情報処理学会論文誌 , vol.36, No.10, pp.2295
の 位置関係 を 基に、獲得し た画像中での対応点のଵোを行ない、
2302(1995).
注目点の濃度変化分布を求める。この分布に対して自乗誤差が最小
[9]
Ikeuchi K. and Sato K., Determining Reflectance
となるような 反射率 パラメ ー タ を 推定 することでその点における
Parameters
using Range and Brightness images, Proc.
表面反射特性 を 決定 する 。これらの ‫ٽ‬算 を観測可能な対象物体上
3rdInt.Conf.onComputerVision,pp.12
20(1990).
のすべての 点 について 行 なうことで 物体全周 にわたる 密な反射率
[10]蓮沼宏,拡散反射と表面の光沢,応用物理,23,501(1954).
データを得ることができる[8-13]。
[11]田中俊一,偏光の工学測定への応用,応用物理,51,530(1981).
[12]伊藤敏夫,松本俊哲,偏光を利用した照度差ステレオ法による面
４ まとめ
の 傾 き 抽出法,システ ム 制 御 情 報 学 会 論 文 誌 , Vol.4, No.11,
pp.445 452(1991).
以上、形状と光沢の三次元画像‫ٽ‬測技術の動向と簡単に紹介し
[13]河内洋介 ,佐藤宏介,千原國宏,CGのための三次元物体の形状と
てきた。ロボットビジョンの対象とするシーンがますます多重化・
光沢の‫ٽ‬測,第40回システム制御情報学会研究発表講演会講演論
複合化 することにより 、݄速 な 画像処理 ハ ー ドウェアや݄度に並
文集,pp.91 92,(1996).
列化 された 処理 アルゴリズム に 寄 せられる 期待は増すばかりであ
る。そのコンピュータ処理の負担を軽減させるためにも、画像セン
サの݄機能化が望まれている。
これからの 10年間に、現在世の中を席捲しているラスター走査し
か 行 えないCCD型撮像 デバイス から 、 ラ ン ダ ム ア ク セ ス 可 能 な
CMOS型撮像デバイスカメラへの移行する可能性 がある。その際に
は 、CMOSの特ଥを活かしたシリコンチップレベルの複合機能画像
センサ が 実現 されるかもしれない 。三次元画像‫ٽ‬測 システム の み
ならず 、従来 の 画像処理 システム を パ ームトップに変容させるଢ
小型化の面で期待されており、ますます今後が楽しみである。