Comments
Description
Transcript
中部大学工学部情報工学科 卒業論文 形状と見えを特徴量とした レンジ
中部大学工学部情報工学科 卒業論文 形状と見えを特徴量とした レンジデータのキーポイントマッチング 村井陽介 年 月 目次 第 章 はじめに 第 章 スキャン画像の取得 レーザレンジファインダ 計測環境 !" スキャン画像の定義 第 章 特徴量を持つキーポイント検出 キーポイント検出 $%& スケールスペース極値検出 キーポイントのローカライズ 見えの情報に基づく特徴量抽出 法線ベクトル算出 座標変換 投影 $%& 特徴量抽出 形状情報に基づく特徴量抽出 $) % * 主曲率算出 形状に基づく特徴量によるキーポイントの分類 第 章 マッチング 特徴量に基づくキーポイントマッチング # # ' ! ' ( ! # 第 章 評価実験 ! ! ! 使用データ 実験方法 実験結果と考察 ( ( + 第 章 おわりに 謝 辞 参考文献 図目次 レーザレンジファインダの計測原理 , ( 計測環境 次元形状と ! 次元形状の定義 ! 0 # ' ( + ! ! ! $%& による特徴点検出・特徴量記述 "- .// 処理 極値検出 スケールと " 出力の関係 それぞれの法線ベクトル 座標変換 求めるべき回転角 !" スキャン画像の平面への平行投影 原画像と生成された投影画像 重み付き勾配方向ヒストグラム 方向のオリエンテーションを持つキーポイント 局所領域をオリエンテーション方向の軸へ回転 $%& 特徴量の記述 $) % * 値と対応する形状 $) % * 算出例 対応点検出 マッチング例 顔のマッチング例 ! ! ' ( + ! 0 # ' ( ! ' + 表目次 キーポイント候補点における固有値の比率例 1しきい値：2 $) % * の範囲と対応する形状の範囲 ! ! それぞれの条件でのマッチング結果 顔のマッチング例 ! + 第 章 はじめに コンピュータビジョンの世界では，実世界に存在する 次元物体を計測し，計算機上で さまざまな処理が行われている．複数台のカメラで同一物体を撮影し，そこから得られる 空間と画像の幾何学的関係から実物体の 次元情報を得るステレオビジョンや，光源とカ メラの位置関係から物体の 次元情報を得るアクティブステレオ法，異なる方向から照ら された物体の複数枚の画像から物体形状を得る照度差ステレオなどである．これらの手法 により実世界に存在する 次元物体を計測することが可能であるが，そのためには複数台 のカメラのキャリブレーションが必要であったり，正確な光源位置の情報が必要であるな ど，実現は容易ではない．しかし，近年計測装置の性能向上により 台のカメラでレーザ 光などにより 次元物体の距離画像を得ることが容易になり， 次元形状計測が盛んに行 われている． 次元形状計測から得られる距離画像が持つ情報は物体の形状を表現しているため，そ の情報をもとに距離画像間の位置合わせや 次元顔画像の認識 34 などが行われている． 距離画像間の位置合わせや 次元物体の認識では，異なる距離画像間で正確により多くの 対応点マッチングを行うことが重要である．従来この対応点マッチングは，距離画像から 得られる 次元物体の形状情報のみを利用して行われている．しかし形状情報のみでは， 実際には見えの異なる物体でも同一の形状をしている場合では同一物体としてマッチング が行われる可能性がある． そこで本研究では，距離画像から得られる 次元物体の形状情報に基づく特徴量だけで なく， 次元物体の見えの情報から得られる特徴量も考慮したキーポイントの検出，マッ チングの手法を提案する．本手法を用いることで，形状と見えの情報から対応点マッチン 第章 はじめに グを行うことが可能となるキーポイントが検出される． 本論文では第 章で距離画像の取得法と取得される距離画像の本研究における定義につ いて述べる．続いて第 章で形状と見えの特徴量を持つキーポイントの検出の手法につい て述べ，第 章で検出されたキーポイントのマッチング法について述べる．第 ! 章で評価 実験を行い，本手法の有効性を示す． 第 章 スキャン画像の取得 本章では， 次元物体の計測装置であるレーザレンジファインダについて述べる．また， 計測される !" スキャン画像の定義についても述べる． レーザレンジファインダ レーザレンジファインダとは，計測器から計測対象にレーザを照射し，対象までの距離 データを取得する装置である．一般的に用いられるレーザレンジファインダは，三角計測 により距離を取得するもの 1図 122 と，レーザが対象から跳ね返ってくるまでの時間を 測定することで距離を取得するもの 1図 122 がある． ኻ⽎‛ ኻ⽎‛ ࠩ ᛩᯏ ࠞࡔ Cਃ᷹ⷺ㊂ᴺ 図 ࠩ ᛩᯏ Dశ㘧ⴕᤨ㑆᷹ቯᴺ 5 レーザレンジファインダの計測原理 これらのレーザレンジファインダは単独でレンジデータを取得することが可能であるが， 物体の背面部分や起伏が大きい部分，他の物体が重なり合った部分などレンジファインダ 第章 スキャン画像の取得 から見えない部分は計測することができない．そのため対象物体の全体の形状を取得する ためには，異なる方向から複数回計測を行う必要がある． 計測環境 本研究で使用した計測環境について述べる． 計測装置として図 12 の三角計測法によりレンジデータを取得する , 342 を使用する 1図 2． (16 . %%&ࠞࡔ ࠩᛩᯏ 図 5 , ( また，計測対象と , 間は 7 に固定し，ターンテーブルを使用して計測対象を回転さ せ複数の方向からのデータを取得した 1図 2．ただし，例外として人の顔を撮影すると きのみカメラを動かした． スキャン画像の定義 レーザレンジファインダにより計測したデータは一方向からのデータである．そのため 各頂点は撮影方向に対して一つの距離情報 182 しか持たない 1図 2． 本研究では，このようなレンジデータと 次元テクスチャ画像を ! 次元スキャン画像と 定義し，キーポイントの検出を行う． スキャン画像の定義 O 図 図 5 計測環境 5 次元形状と ! 次元形状の定義 第 章 特徴量を持つキーポイント検出 レンジファインダにより得られた !" スキャン画像中には多くの頂点が含まれる．こ れらの頂点を用いることで複数のレンジデータの位置合わせが行われるが，全ての頂点を 用いて位置合わせを行うことは計算量が膨大になり効率の良い方法とは言えない．効率的 に位置合わせを行うためには，全頂点から位置合わせにより有効な頂点を選び出す必要が ある． 本章では有効な頂点を選ぶ手法として，物体の形状と見えを特徴量とする頂点 1キーポ イント2 の検出について述べる． キーポイント検出 全頂点から特徴的な頂点 1以下，キーポイントと呼ぶ2 を検出する．キーポイントの検 出には物体の見えの情報を用いる．物体の見えの情報は，レンジファインダによる計測時 にレンジデータと同時にテクスチャデータとして得られる．このテクスチャデータから 次元画像を生成し，生成した画像中からキーポイントを検出する．キーポイント検出には $%&34 を用いる． $%&1$. % & 72 とは，画像の回転・スケール変化・照明変化に 頑健な特徴点を検出，その特徴点の特徴量を記述する手法である．$%& の処理はキーポ 第章 特徴量を持つキーポイント検出 イントの検出段階 1. 2 と特徴量の記述段階 1.) 2 の つに分けられる．検 出段階は スケールスペース極値検出 キーポイントのローカライズ であり，記述段階は オリエンテーションの検出 キーポイント記述子による特徴量記述 である．図 に $%& による特徴点検出・特徴量記述の例を示す．図中の矢印の始点位 置が検出されたキーポイント位置であり，矢印の指す方向がそのキーポイントのオリエン テーションである．また，矢印の長さはそのキーポイントの検出されたスケールを表現し ている． 図 5 $%& による特徴点検出・特徴量記述 以下に $%& の流れに沿ったキーポイント検出の処理について述べる． スケールスペース極値検出 テクスチャ情報を持つ 次元画像中から，キーポイント候補点となるスケールスペース の極値を検出する． キーポイント検出 ■ 処理 この極値はスケール 1 2 の異なるがうす関数 1 2 と入力画像 1 2 を畳み込んだ 平滑化画像 1 2 の差分をとった画像から得られる．このスケールの異なる平滑化画 像の差分をとることを "- .// 1"2 という．それぞれ以下の式により求 める． 1 1 29 1 2 1 2 2 9 ¾ ¾ ¾ " の結果の画像を 1 1 12 12 2 とすると，" 画像は次式で求まる． 29 1 2 1 2 12 ここで は定数倍の因子である．この処理を複数の異なるスケール間で行い，複数の " 画像を得る．" の流れを図 に示す． ǻ ǻ ࠬࠤ࡞ ǻ ǻ ǻ ᐔṖൻ↹ 図 &Q)↹ 5 "- .// 処理 ■ 極値検出 得られた " 画像から極値の検出を行う．極値の検出は図 のように，" 画像 枚一組で行う．極値の探索を行いたいスケールの画像のある注目画素 1図中 印2 と，そ の周り ' 近傍とさらにその注目画素のある画像のスケールと隣接する上下のスケールの画 像のそれぞれ注目画素と隣接する の領域の画素，あわせて 0 画素 1図中 印2 を比 第章 特徴量を持つキーポイント検出 較する．その結果注目画素が極大値もしくは極小値であった場合その画素をキーポイント 候補点として検出する．この処理を取りうる全ての画素に対して行う． ࠬࠤ࡞ &Q)↹ 図 5 極値検出 スケールの変化と " の出力には図 に示すような関係がある．図 12 のグラフ中 と，図 12 の の " の出力が最大となるとき，つまり極値となるときのシグマの値 グラフ中の " の極値のときのシグマの値 には 9 の関係が成り立つ．この関 係から，検出されたキーポイント候補は画像のスケール変化に頑健な点となる． キーポイント検出 &Q)ߩജ୯ 5ECNG ǻ Cࡇࠢ࡞↹ߩ&Q)ജផ⒖ &Q)ߩജ୯ 5ECNG ǻ Dࡇࠢ࡞↹ߩ&Q)ജផ⒖ 図 5 スケールと " 出力の関係 キーポイントのローカライズ 検出されたキーポイント候補点はスケール変化に対して頑健であるが，すべての点が特 徴的な点であるとは言えない．そこで検出されたキーポイント候補点からキーポイントと して有効な点を選び出す． ■ キーポイント候補点のサブピクセル位置算出 ある点 9 1 2 での ": 関数 12 をテイラー展開すると次式のようになる． 式 1 12 9 ; ; 1 2 2 について に関する導関数をとり，+ とすると次式が得られる． ; < 9 + 1!2 第章 特徴量を持つキーポイント検出 < はキーポイント候補点 1極値2 のサブピクセル位置を表している．この式を変 このとき 形し次式を得る． < 9 102 この式は次のように表される． ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ 9 1#2 < を得るために変形する． 式 1#2 をキーポイント候補点のサブピクセル位置 9 ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ ¾ 1'2 < のサブピクセル位置を得る． 得られた式 1'2 を解くことにより，キーポイント候補点 ■ 不適切なキーポイント候補点の削除 不適切なキーポイント候補点を削除する． で得られた式 1'2 は次のように表さ れる． < 9 この式を式 1 1(2 2 に代入すると次式が得られる． 1<2 9 ; < 1+2 < でのコントラストを これは， で得られたキーポイント候補点のサブピクセル位置 表している．この値の絶対値が低い場合はノイズに影響されやすく，十分に特徴的なキー ポイント候補点とは言えないため削除される． さらにキーポイント候補点を絞り込む．キーポイント候補位置での 次元ヘッセ行列 キーポイント検出 を計算し，主曲率を求める． 9 12 行列内の導関数は，キーポイントとキーポイントに隣接した画素の差分をとることで得ら れる． ここで，ヘッセ行列から求められる第 固有値を ，第 固有値を と仮定する．このと きヘッセ行列の対角成分の和 12 と行列式 "12 から次のように計算できる． 12 9 "12 9 ; 9 ; 1 2 9 12 12 さらに， を第 固有値と第 固有値の比率と仮定し， 9 とすると次式のようになる． 12 9 1 ; 2 9 1 ; 2 9 1 ; 2 "12 1 2 この値はキーポイントの固有値ではなく，固有値の比率のみで決まる．従って，固有値を 求めずに主曲率を得ることができる．この値を次式のようにしきい値処理することで，不 要なキーポイント候補点を削除する． 12 "12 1 ; 2 1!2 このしきい値より比率が小さいものが残る．文献 34 では 9 + を提案している．した がって，しきい値は となる．表 に削除されるキーポイント候補点における固有値 の比率と，削除されないキーポイント候補点における固有値の比率の例を示す． この処理はハリスのコーナー検出に良く似たものである．したがって固有値の比率がしき い値より大きい点，つまりエッジ上に存在する可能性の高い点が削除される． これにより 次元画像からスケール変化，照明変化，ノイズに強い特徴的な点，つまり キーポイントが検出される．ここまでの処理が $%& の検出段階である．ここで検出され た 次元テクスチャ画像のキーポイント位置に対応する !" スキャン画像の頂点をキー ポイントとし，このキーポイントの特徴量を抽出し記述する． 第章 特徴量を持つキーポイント検出 表 5 キーポイント候補点における固有値の比率例 1しきい値：2 削除されるキーポイント候補点 削除されないキーポイント候補点 0+# 0' !!##! 0!#+! !'++ ''0!( 0 + +0 ( 0' #!##' 0+'## ' 00 見えの情報に基づく特徴量抽出 検出されたキーポイントの見えの情報に基づく特徴量を抽出する．ここで用いる見えの 情報は，検出されたキーポイントの法線ベクトル方向に正規化したテクスチャ画像の情報 である．正規化したテクスチャ画像を生成するために，キーポイントの法線ベクトルを算 出する． 法線ベクトル算出 頂点の法線ベクトルを求めるためにはあらかじめ三角パッチの法線ベクトルを算出する 必要がある． ■ 面の法線ベクトル算出 ポリゴンを構成する各三角パッチ面の法線ベクトルを算出する．三角パッチは つの頂 点から構成される．この つの頂点の座標値 1 2 の値からこの 頂点によって構成さ れる面の法線ベクトルを算出することが可能となる． 図 !12 に示すような頂点 :，，= から構成される面を考える．注目頂点を : としたと き，この面の法線ベクトルは頂点 :， 間のベクトル と頂点 :，= 間のベクトル の 外積から算出される．1 2，1 2 のとき，外積 は次式で求める． 9 1 2 102 見えの情報に基づく特徴量抽出 ここで求められた外積の各成分が平面の法線ベクトルの各成分となる．このように，キー ポイントである頂点に連結する全ての三角パッチ面の法線ベクトルを算出する． ■ 頂点の法線ベクトル算出 頂点の法線ベクトルを算出する．頂点の法線ベクトルは，その頂点を含む面の法線ベク トルの平均をとることで算出される 1図 !122． 求められた頂点の法線ベクトルをノルム に正規化し，単位法線ベクトルとする．ある 法線ベクトル 1 2 を考える．このベクトル の正規化は次式により求められる． < 9 9 9 ; ; 1#2 1'2 < は正規化法線ベクトルである．これにより頂点の単位法線ベクトルが得られる． ここで 図 !5 それぞれの法線ベクトル 座標変換 で得られた頂点の法線ベクトルに基づいて，計測時の世界座標系から各キーポイ ントのローカル座標系へ座標変換を行う．座標変換は，キーポイントの法線ベクトル方向 とローカル座標系の 8 軸が一致するように変換を行う 1図 02． 次元の座標変換は，平行移動と回転によって表現される．平行移動は次式によって表 第章 特徴量を持つキーポイント検出 図 05 座標変換 現される． ¼ 9 ¼ ¼ + + + + + + + + + 1(2 ここで は平行移動成分である．また，* 軸， 軸，8 軸まわりの回転はそれぞ れ以下の式により表現される． ¼ 9 ¼ ¼ + + . + + + . ¼ + 9 ¼ ¼ + + . + + + + . + + + + + + + + 1+2 12 見えの情報に基づく特徴量抽出 ¼ 9 ¼ ¼ . + + . + + + + + + + + 12 算出された頂点の法線ベクトル方向に 8 軸を一致させるために必要な変換は，平行移動， 軸回転，* 軸回転である．これらの変換を行うためには平行移動量， 軸周りの回転角， * 軸周りの回転角を求める必要がある． 平行移動量を考える．世界座標系からキーポイントを原点としたローカル座標系へ座標変 換を行うので，平行移動量は世界座標系でのキーポイントの座標値の符号を反転させた値 である．これによりキーポイント位置が原点となる． 次に回転角を算出する．求めるべき回転角は図 # の である．図 # 中のベクトルを [ [ Ǫ Z Z ǩ \ \ C[ゲ߹ࠊࠅ 図 CZゲ߹ࠊࠅ #5 求めるべき回転角 1 2 とすると，回転角 は次式により求められる． 9 .. 9 .. ; ; ; ; 12 1 2 こうして得られた平行移動量と回転角に基づき，キーポイントを原点としたローカル座標 系に座標変換する． 第章 特徴量を持つキーポイント検出 投影 キーポイント位置の見えの情報を抽出するための 次元テクスチャ画像を生成するため に，!" スキャン画像を平面へ平行投影する．投影する平面は，キーポイントの法線ベ クトルに垂直な面である 1図 '2．そのため投影する平面は検出されたキーポイントの数 だけ存在する．投影される頂点は，座標変換によって法線ベクトル方向に 8 軸が一致した キーポイントのローカル座標系に変換されているため，ここで生成される 次元テクス チャ画像はキーポイントの法線方向に正規化されたものとなる．このように正規化された テクスチャ画像から特徴量を抽出することで，計測方向の影響を受けにくい特徴量を抽出 することができる．図 ( に実画像による平行投影例を示す．各画像の中心がキーポイン ト位置である．計測時の原画像と比べると，それぞれの画像がキーポイントの法線方向へ 正規化されていることがわかる． 図 '5 !" スキャン画像の平面への平行投影 画像中の黄色い円はキーポイント位置を示している． 見えの情報に基づく特徴量抽出 ේ↹ ᛩᓇ↹ 図 (5 原画像と生成された投影画像 特徴量抽出 投影によって作成された，キーポイントの法線ベクトル方向に正規化されたテクスチャ 画像からそのキーポイントの $%& 特徴量を抽出する． ■ 正規化画像におけるキーポイントのスケールスペース極値探索 の処理と同様に " によりスケールスペースの極値を検出する．ただし， で は 次元画像からキーポイントを検出するための処理であったが，ここではすでにキーポ イント位置は決定しているためこのキーポイントの最適なスケールを検出するための処 理として行う．さらに， と同様にキーポイントのローカライズも行う． ではレ ンジファインダによる物体計測時に得られた 次元テクスチャ画像の情報からキーポイン トのローカライズを行ったが，ここではキーポイントごとに生成された正規化画像のテク スチャ情報に基づいてキーポイントのローカライズを行う．ここでキーポイントのコント ラストが低い，またはキーポイントがエッジ上に存在すると判定された場合はキーポイン ト位置から除外する．これにより計測時の 次元テクスチャ画像から検出したキーポイン トが !" スキャン画像中の対応する頂点においても特徴的なキーポイントであるかどう かの判定が可能となる． 第章 特徴量を持つキーポイント検出 検出されたキーポイントが真に特徴的であると判定された場合，そのキーポイント位置 での $%& 特徴量を抽出する． ■ オリエンテーション算出 対象となるキーポイントのオリエンテーションを算出する．キーポイントのオリエン テーションを求めるために， で検出したそのキーポイントにおける最適なスケール で正規化画像を平滑化する．ここで得られた平滑化画像 1 2 の勾配の大きさ 1 2 と勾配方向 1 2 を次式により求める． 1 1 2 9 1 1 ; 2 1 22 ; 1 1 ; 2 1 2 9 11 1 ; 2 1 22 1 1 ; 2 1 22 1!2 222 102 求めた勾配の大きさと勾配方向を用いて，図 + に示すような重み付方向ヒストグラム を次式により作成する． 1 2 9 9 Æ 1 2 1 2 1 2 3 1 Æ 24 1#2 1'2 は 6 . のデルタ関数である．また，このときのガウス窓にはキーポイントのスケー ルの ! 倍のスケールを用いる． は，全方向を 0 分割したものにダウンサンプリングさ れヒストグラムに当てはめられる．こうして作成された 0 方向のヒストグラムの最大値 の '+> 以上になる方向をキーポイントのオリエンテーションとして割り当てる．図 + の例ではキーポイントに割り当てられるオリエンテーションは 方向のみだが，'+> 以上 の方向が複数ある場合はそれら全てがキーポイントのオリエンテーションとして割り当て られる．例えばキーポイントがコーナー上の点である場合は， つのキーポイントが 方 向のオリエンテーションを持つ 1図 2． ■ キーポイント記述子による特徴量記述 検出されたキーポイントにキーポイント記述子で特徴量を記述する．キーポイントの周 辺領域を， で割り当てられたキーポイントのオリエンテーション方向を基準とした 軸に回転させる 1図 2．この状態でキーポイントの特徴量を記述する．キーポイントの 見えの情報に基づく特徴量抽出 ജ↹ w(x, y) 㧖 ࠟ࠙ࠬ⓹G(x, y,ǻ) m(x, y) RGCM J -G[RQKPV ノᐲ൨㈩ᣇะ 図 図 ̖ ̖ ̖ ̖ ̖ ̖ ᣇะߩࡅࠬ࠻ࠣࡓ +5 重み付き勾配方向ヒストグラム 5 方向のオリエンテーションを持つキーポイント 第章 特徴量を持つキーポイント検出 オリエンテーション方向に正規化した座標系で特徴量を記述するため，回転に対して不変 な特徴量が得られる． ࠝࠛࡦ࠹࡚ࠪࡦ ࠠࡐࠗࡦ࠻ 図 5 局所領域をオリエンテーション方向の軸へ回転 と同様に，分割した領域ごとに輝度勾配方向のヒストグラムを作成する．図 に 特徴量記述の例を示す．図 では，領域を の 0 に分割し，それぞれに ' 方向の ̖̖ 図 5 $%& 特徴量の記述 ヒストグラムを作成しているため，' 次元のベクトルの特徴量を持つことになる．この とき使用するガウス窓のスケールは，キーポイントが検出された画像のスケールに関連し ている． 以上により，検出されたキーポイントに回転やスケール変化に頑健な特徴量が記述さ れる． 形状情報に基づく特徴量抽出 形状情報に基づく特徴量抽出 で検出されたキーポイントの形状に基づく特徴量を抽出する．形状情報に基づく特 徴量は，計測されたレンジデータの情報から抽出される． 形状情報に基づく特徴量として $) % *3 4 を用いる． $) % * とは，物体の形状を + + + の値で表現したもので， 次元物体の局所的 な形状を表現する．図 は $) % * の値に対応する形状である． 図 5 $) % * 値と対応する形状 !" スキャン画像中のある位置 における $) % * を 1 2 とすると，主曲率が 1 2 1 2 1 1 2 1 22 のとき次式から求められる． ; 1 2 1 2 9 11 22 1 2 ただし，$) 1(2 % * は物体上の点 が平面上の点であった場合算出ができない．平面に おける主曲率は 9 9 + となり，この値を式 1(2 に代入すると となってしまうた めである．従って物体上の点が平面であるかどうかという判定を主曲率から行う必要があ る．もし平面であった場合は，その点の形状情報の特徴量を ++ + 以外の値で表現す ることとする． 第章 特徴量を持つキーポイント検出 主曲率算出 $) % * を算出するためには，!" スキャン画像中のある位置 における主曲率を 求める必要がある．ある位置 における主曲率を求めるために次のようなヘッセ行列を考 える． 9 ¾ ¾ ¾ ¾ ¾ ¾ 1+2 ヘッセ行列内の はそれぞれ !" スキャン画像の座標値を表している．主曲率はこ のヘッセ行列の つの固有値である．ヘッセ行列の各要素は，注目点 に隣接する座標位 置の 8 成分の差分 1 次微分2 により求められる．しかし，レンジファインダにより撮影さ れた物体の頂点は不規則に配置しているため，必ずしも 次元画像のようなグリッド状に 隣接する頂点が存在するとは限らない．そのため注目頂点 に隣接する点の 8 値を補間に より求める必要がある． ■ データの補間 ヘッセ行列を解くために，隣接するデータの補間を行う．データの補間法には，最近点 補間，クリギング，逆距離加重法などが存在するが，本研究では速度と簡単さから逆距離 加重法を用いる． 逆距離加重法とは， つの三角パッチを構成する つの頂点と，補間したい点との距離に 反比例する重みをつけて 頂点の 8 値から補間点の 8 値を推定するという手法である．補 間したい点を 1 2，三角パッチを構成する頂点を ，補間点と頂点との距離を と すると，補間点の 8 値は次式により求められる． 9 12 これにより補間点の 8 値を求める．このとき補間点の座標値を注目頂点からどれだけの位 置に設定するかによって補間の値は変わってくる．本研究では，計測されたレンジデータ の各頂点間のユークリッド距離の最小値を求め，その中央値を採用している．こうするこ とで，レンジデータのパッチの解像度を考慮した補間を行うことができる． 以上により形状に基づく特徴量を抽出することが可能となる．図 ! に $) % * 算 出例を示す．色が黒に近い部分は $) % * の値が + に近い，つまり .) 形状であり， 形状情報に基づく特徴量抽出 色が白に近い部分は $) % * の値が に近い，つまり .) 形状である． 図 ! の例では，計測された全頂点から $) % * を算出しているが，本手法ではキー ポイントとして検出された特徴点からのみ $) % * を算出する． 図 !5 $) % * 算出例 形状に基づく特徴量によるキーポイントの分類 算出した $) % * の値に基づいて，キーポイントを形状ごとに分類する．表に $) % * の値によって分類される形状の範囲を示す．このように形状に基づく特徴量により 表 ! 0 # ' 5 $) % * の範囲と対応する形状の範囲 $) % * 値の範囲 対応する形状の範囲 + +'#! ) "7 +'#!+#! "7 ? +#! +0! ? $ +0! +! $ $ +! +#! $ $ +#! +! $ ? +! +! ? +! ++ ) キーポイントを分類することで，対応点である確率の高いキーポイント同士のマッチング 第章 特徴量を持つキーポイント検出 を効率よく行うことができる．また，未分類のままマッチングを行う場合よりも誤対応を 減らすことができる． 第 章 マッチング 本章では，検出されたキーポイントのマッチング手法について述べる． 特徴量に基づくキーポイントマッチング 章で検出されたキーポイントを用いて異なる !" スキャン画像間でキーポイントマッ チングを行う． レンジデータ ! のキーポイントの特徴量を ½ 91 ½ " ½ " ½ " 2 レンジデータ ! のキーポイントの特徴量を ¾ 91 ¾ " ¾ " ¾ " 2 とする．このときレンジデータ間の各キーポイントの特徴量の距離を次式により求める． 1 ½ ¾ 29 1 ½ " ¾ " 2 最も近い距離がしきい値以下であればそのキーポイント同士を対応点とする 1図 1 2 2．し きい値を大きく設定すると，それだけ !" スキャン画像間の対応点数は増加する．しか し，誤対応も同時に増加してしまう．逆にしきい値を小さく設定すると，本来対応が取れ るキーポイントであっても対応点ではないと判定されてしまう．また，計測する物体や環 第章 マッチング 境によって対象から検出されるキーポイントの数にも変化があるためこのしきい値を一定 の値に設定することは難しい．しきい値は経験的に決める必要がある． MG[RQKPV MG[RQKPV ․ᓽࡌࠢ࠻࡞ߩ 〒㔌ࠍ▚ ࡦࠫ࠺࠲4 ࡦࠫ࠺࠲4 図 5 対応点検出 第 章 評価実験 本章では，評価実験として実際に計測したデータを用いてキーポイントを検出し，マッチ ングを行う． 使用データ , はレーザ光による三角計測の原理で距離画像を得ているため，計測対象に光沢が あると正確に計測ができない．また，計測対象の色が黒に近い色である場合も，レーザ光 を吸収してしまうため正確な計測ができない．そこで実験に使用するデータは，極端に撮 影の不可能なもの以外の剛体を用いる． 実験方法 同一物体を異なる方向から計測して得られた !" スキャン画像からキーポイントを検 出し，形状と見えの情報に基づく特徴量を記述する．検出されたキーポイントのマッチン グを行い対応点を検出する． 比較対象として，物体計測時に得られる 次元テクスチャ画像を使用して $%& のみで 対応点を検出，またレンジデータの形状情報に基づく特徴量のみで対応点の検出を行う． 第章 評価実験 実験結果と考察 それぞれの条件ごとにマッチングをおこなった結果を示す．表 ! に異なる条件での マッチング結果を示す．形状特徴量のみの正解率は !> とかなり精度が低い．提案手法 表 !5 それぞれの条件でのマッチング結果 検出数 正解検出数 # # (( ( $%& のみ 形状のみ 形状 ; 見え 正解率 3>4 ' 0 ! 00 は 00> の正解率を得た．しかし，$%& のみの正解率よりも低い結果となった．図 ! にマッチング例を示す．図中の青線は正解対応点，赤線は誤対応点である．この結果を見 てみると，形状と見えの情報を特徴量とするキーポイントマッチングは $%& では対応点 が取れない部分においてマッチングができていることがわかる．図 ! の中段の例を見る と，形状が全体的に一様な物体においては形状のみのマッチング結果が特に精度が低かっ たが，提案手法ではある程度の精度を得ることができた． C5+(6ߩߺ Dᒻ⁁ߩߺ Eᒻ⁁ߩߺ ᱜ⸃ኻᔕὐ ⺋ኻᔕὐ 図 !5 マッチング例 実験結果と考察 次に，人の顔のマッチング例を表 ! に示す．顔の場合，表 ! の物体に比べて検出数 表 !5 顔のマッチング例 検出数 正解検出数 ( ! + $%& のみ 形状のみ 形状;見え 正解率 3>4 !!! + 0 そのものが少ない．さらに正解検出率も $%& のみと提案手法でほぼ同数である．形状の みでは全く対応が取れていない結果となった．図 ! に顔のマッチング例を示す．やはり 顔の場合，他の物体に比べ局所的に見えの情報が類似しているため対応がとれないと考え られる． C5+(6ߩߺ Dᒻ⁁ߩߺ Eᒻ⁁߃ ᱜ⸃ኻᔕὐ ⺋ኻᔕὐ 図 !5 顔のマッチング例 以上の結果から，$%& では考慮されない局所的に見えが同じでも形状が異なる対象の 場合に，提案手法と $%& を併用することにより高精度な対応点を求めることができる． 第 章 おわりに 本論文では，!" スキャン画像からキーポイントを検出し，その形状と見えの情報から の特徴量抽出を行った．また，検出されたキーポイントを用いたキーポイントマッチング を行い，本手法の有効性を示した．本研究で提案した手法は，評価実験において $%& の みのマッチングよりも正解率が低い結果となった．しかし，局所的に見えが同じでも形状 が異なる対象の場合，本手法は見えと形状を考慮しているため有効である． 今後はマッチングの正解率の向上と，正解検出数そのものの向上の実現に向けて研究を 行う予定である． 謝 辞 本研究を行うにあたり，常に熱心なご指導を頂きました中部大学工学部 藤吉弘亘助教授 に謹んで深謝します． ならびに，本研究を行うにおいてさまざまな協力をしていただいた藤吉研究室の皆様に 感謝致します． 参考文献 34 @6 . ,%,%" ( /. . " . A )5BB .7 C)B).B B 7 BB(B *7 34 D E " 6 F @/"7 = &. ?. A % . G ?. 1++ 2 )) 0/00 34 " EH @" . %7 & 7 $./% 6) A % / F 7) , 0+12 ))(/+ 1++ 2 3 4 " 6 F @:$:$ / ?) $.7 " &/&7 :C.A % G% ( + )) !/+ ((# 形状と見えを特徴量としたレンジデータのキーポイントマッチング 村井陽介 1中部大学工学部情報工学科2 ++# 年 月