Comments
Description
Transcript
PDF:3282KB/13ページ
〈特別研究課題〉 生活環境シミュレーションに向けた 高性能な三次元データ検索の研究 助 成 研 究 者 豊橋技術科学大学 青野 雅樹 生活環境シミュレーションに向けた 高性能な三次元データ検索の研究 青野 雅樹 （豊橋技術科学大学） Efficient Three-dimensional Data Retrieval Toward Living Environment Simulation Masaki Aono (Toyohashi University of Technology) Abstract： 3 D shape objects have been spreading on the Internet, with the popularity of free 3 D models downloadable from warehouses as well as with the proliferation of free 3 D CG design software such as SketchUp. In this research, we have developed an efficient and high-precision 3 D shape similarity search system based on our unique 3 D shape search engines. Main emphasis has been focused on the accuracy of search performance and the ease of use by specifying the search request not only from a sample 3 D shape as query but from a single 2 D photo image to search a 3 D architectural object, especially 3 D shape objects such as chairs, sofas, and other furniture commonly observed in daily living environment. 1．はじめに（研究目的） インターネット上には、「SketchUpの3D ウェアハウス」（建築物を中心としたフリーな3Dモデ ルの集積Webサイト：https://3dwarehouse.sketchup.com/、匿名ユーザが自由に3Dモデルを投稿 できるWebサイト）や、 「Part Community」 （http://www.web2cad.co.jp/info/partcommunity/）と呼ば れる3Dの機械部品の集積Webサイトなど、フリーな3Dモデルが利用できるWebサイトが急増して おり、大量の3Dモデルが利用できる環境が整いつつある。一方、これまで企業（CAD/CAMを用い る製造業、建築系CADを用いる建築業、医療データや手術シミュレーション、CG効果を導入する － 11 － 映画・娯楽産業など）内では、独自の3Dモデルが再利用されることなく蓄積されてきた。このよう な背景から、本研究では、3Dモデルの再利用性を向上させるため、生活環境のシミュレーション に向けた建築関連の3Dモデル群をもとに、簡便な検索要求（クエリ）から検索でき、かつ、高精度 な検索が可能な技術開発を行うことを目的とする。 2．ユーザフレンドリーなクエリからの3Dモデルの検索 3Dモデルの再利用に向けた第一ステップは、3Dモデルを集積したデータベースを構築し、「形」 の概念を捉えられる「特徴量」に変換することである。我々は、特許技術として、世界に先駆け MFSD (Multi-Fourier Spectral Descriptor)特徴量を提案してきた 1)。MFSDでは、任意の3Dモデ ルを姿勢正規化したあと、４つの特徴量（デプスバッファ特徴量、シルエット特徴量、輪郭特徴量、 ボ ク セ ル 特 徴 量）を 複 合 す る。 し か も、 デ プ ス バ ッ フ ァ と シ ル エ ッ ト で は、PE (Peripheral Enhancement)と呼ばれるフィルタを適用し、周辺輝度と物体中心との輝度差を強調する特徴量で ある。４つに共通するのは、フーリエスペクトルを利用する点である。しかも、最初の３つの特徴 量では、3Dモデルの移動と回転にロバストにするため、レンダリングして得られた投影画像を いったん曲座標に変換する。また第４のボクセル特徴量では、3次元のフーリエ変換を用いたスペ クトルを特徴量として利用するため、自然に物体の内部形状を捉えることができる。 一方、3Dモデルの検索のために、手元に3Dモデルをクエリとして必要とすることは負荷が大き い。そこで、2Dのスケッチに描かれている形状をヒントに3Dモデルを検索したり、一枚の写真か ら被写体の3Dモデルを検索できたりすると、ユーザの負担軽減になる。そこで、以下で、2Dから 3D検索を行うために開発した技術に関して述べる。 2.1 スケッチからの高精度な3D検索 2Dスケッチからの3D検索の研究は、3Dモデル検索の国際コンテストであるSHREC (Shape Retrieval Contest)でも2012年から、膨大なスケッチと3Dデータで事前学習を行い、未知なスケッ チを与えて、その3Dモデルを検索するというタスクでの国際コンテストが行われてきた 2, 3)。 スケッチからの3D検索の難しさは （A） スケッチを描くユーザの描画スキルに依存すること （B） そもそも描かれた図形が不完全であること（たとえば物体の輪郭線に穴があいたり、突き抜 けたり、デフォルメされていたりする） （C） 描かれた図形の3D空間での視点や視線情報が不明で曖昧なこと （D） 奥行きの表現に乏しく、見えない部分の情報が欠落していること などの問題点があることである。しかしながら、これらの問題点を少しでも緩和できれば、3D物 体をクエリで与えるよりは、遥かに簡便で、繰り返しインプットできる可能性が高いため、きわめ て強力な入力手段である。 2.1.1 OPHOG特徴量の開発 そこで、2Dスケッチから3Dモデルを検索するシステムを開発した。全体の流れは図１に示すよ うである。図1は上半分が3Dモデルに関する検索用の前処理で、下半分が2次元のスケッチを与え － 12 － 図１ 二次元スケッチからの三次元モデルの検索の流れ 図２ オーバラップ型のPyramid HOG (OPHOG)の概念図 て、それと類似する3Dモデルの相違度計算を行って、相違度の小さい順、すなわち類似度の大き い順に並べることで、検索結果を表示する。この一連の流れで技術的にもっとも挑戦的でかつ重要 な点は、特徴量計算である。しかも、この特徴量は、相違度計算が3Dモデルと2Dスケッチの間で 問題なくできるように、同じ次元で、同じ意味を有している必要がある。 我々は、この特徴量の新提案‘としてOPHOG (Overlapped Pyramid of Histograms of Oriented Gradients)法を開発した。 OPHOGの概念図は図２に示すようで、画像（ここではスケッ チ画像）をピラミッド型に再帰的に縦横サイズを1/2に分割し HOG特徴量を計算する。ただしその際、分割された矩形領域 を完全に分離せず、点線で囲った矩形で例示するように、左 右上下にオーララップした位置においてもHOG特徴量を計算 する。これにより、局所的な特徴が滑らかに変化することが 保証される。 一方、OPHOG特徴量は3D側のモデルと2Dからのスケッチ の両方で計算する必要がある。このため、図4に示すような 前処理を3D側と、スケッチが入力されてからの2D側でそれ － 13 － 図３ 3Dモデルは、姿勢正規化後、 102面の三角形で近似した測地線球 （geodesic sphere） で囲み、各三角形 の頂点と球の中心を結ぶ方向に投影 することでレンダリングを行う ぞれ行う。3D側では、3Dモデルを複数の視点から深度バッファ画像レンダリングを行う。具体的 には、図3にイラストしていうように、3Dモデルを姿勢正規化し 4)、102面の三角形で近似した測 地線球 （geodesic sphere）で囲み、各三角形の頂点と球の中心を結ぶ方向に投影し、深度バッファ法 でレンダリングを行い256×256解像度の深度バッファ画像を得る。得られた投影図にLaplacian フィルタをかけ、エッジを抽出する。これは一般に多値で同時にノイズが多いため、細線化して大 津アルゴリズムで2値化する。得られた２値化画像にGaussianフィルタをかけて平滑化する。 OPHOG特徴量は、最終的に得られたGaussianフィルタを適用した画像に対して行う。この処理 を、一つの3Dモデルにつき、102視点すべてで行い、更に、データベース中のすべての3Dモデル に対して事前に行っておく。 図 4 OPHOGのための前処理（上が3 Dモデル側の前処理, 下がスケッチの前処理） 図４の上側のステップは以上のようである。一方、図4の下側では、実行時にユーザから2Dのス ケッチが与えられると、これに細線化と2値化を適用し、更にGaussianフィルタを適用する。すな わち、前処理の最後の２つのステップは3Dモデル側も2Dスケッチ側も同様の処理を行う。深度 バッファの解像度が256×256であるため、2Dスケッチ画像に関しても、同じサイズに正規化する。 また、最後の２つのステップは3D側の前処理と全く同様に行い、最終的にOPHOG特徴量を計算す る。 OPHOG特徴量は以下のようにして計算する。まず、図4で得られたGaussianフィルタ適用後、 得られた画像を図2のように多重解像度レベルに合わせて、画像を「セル」に分割する。その際、セ ルは通常のHOGと異なり、スライド窓を、隣接する「セル」が半分の面積だけオーバラップするよ うに動かす。多重解像度のレベル （L） 、窓サイズ（w）、ならびにスライドさせるストライド（s）は画 像の解像度 （h）から以下の式で決定する。 － 14 － hhhhhh ww w ww w w ww =w w=====L LLh hLLL s s= w= ww ssss=h===h=hw w 2=22222LLL www s = = = = L2L22L22 2 2 222 2 h www w s = L s s = = 2s = 222 2 OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。な OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。な OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 h wh OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 OPHOG OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 w OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 w = sw== L s= L ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは 33 とし ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは とし ヒストグラムのビンのサイズは経験的に最も精度のよかった とし、多重解像度のレベルは 333 とし ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは 3 とし ヒストグラムのビンのサイズは経験的に最も精度のよかった とし、多重解像度のレベルは とし ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは とし お、ヒストグラムのビンのサイズは経験的に最も精度のよかった40とし、多重解像度のレベルは3と ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは 3 とし ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは 2 22 ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 3 2 4040 て一列に並べたものである。なお、 ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは とし、多重解像度のレベルは 3 とし とし 33とし ヒストグラムのビンのサイズは経験的に最も精度のよかった ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 40 とし、多重解像度のレベルは とし、多重解像度のレベルは 3とし とし3 と ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 とし、多重解像度のレベルは た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を ggggggg した。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度 た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 し、多重解像度のレベルは 3 た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を とし OPHOG 特徴量は、各セルでの輝度勾配ヒストグラムを全部連結して一列に並べたものである。なお、 た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を ggg xy,xx,x,y,,y,yyyyでの勾配強度と勾配方向は以下の式で計算する。 θ とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 x θ とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 をgとし、勾配方向をθとするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 x , θ θ とし、勾配方向を とするとき、任意の とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 x θ θ とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 θ x , y とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 θ とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 とし、勾配方向を での勾配強度と勾配方向は以下の式で計算する。 ヒストグラムのビンのサイズは経験的に最も精度のよかった 40 3 とし 票することで行う。勾配強度を g ヒストグラムのビンのサイズは経験的に最も精度のよかった とし、多重解像度のレベルは 3 とし x, yとし、多重解像度のレベルは θ とするとき、任意の とし、勾配方向を とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 y での勾配強度と勾配方向は以下の式で計算する。 とし、勾配方向を とし、勾配方向を とするとき、任意の とするとき、任意の での勾配強度と勾配方向は以下の式で計算する。 での勾配強度と勾配方向は以下の式で計算する。 x,xx,y,y40 θθθとするとき、任意の とし、勾配方向を ( (((((( ) )))))) (( )) ( ) ( ) 2 22222 2 22222 た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を 配方向は以下の式で計算する。 た。この際、輝度勾配ヒストグラムは対応するビンの勾配強度を投票することで行う。勾配強度を g ( ggg(gggx(((,x(x(xy,x,x,y,)y,yy)= u++ ,x(x(xy,x,xu,y,)2y,yy)2y)2()))x222 , y )2 + u2 22( xg, y )2 y)))=)====uuxuuu(xuxxx(xx((,x(x(xy,x,x,gy,)y,yy)(y))+)x)222+ +uyu)uuy(uy= ( + ( yx y , y y g ( x, y ) =gg(g(xu(,xxxxx,y(,y)xy)= ,)=y=) uux+ux(uxx((yyy,xx(,y,xy)y,)xy)+)+u+uyuy(y(x(,xx,y,y)y)y) θ とするとき、任意の 2とし、勾配方向を ( x, y ) での勾配強度と勾配方向は以下の式で計算する。 θ とするとき、任意の とし、勾配方向を ( x, y ) での勾配強度と勾配方向は以下の式で計算する。 u1uuuu(xuxx(((,x(x(xy,x,x,y,)y,yy)y)))) 2 2 −21−−1−1− ===)ytan tan tan+−−−−1111ux1 uxθ(xxxxx (x( x,x,y, yy−)12)−)−1u=1uxutan ((,x−x,y1,y)uy)x) ( x, y ) θ(+θθθθx((u(,x((x(yuxy,xx,x,(xy,,)y,xy(yy)=y),)x))=)=y,tan tan tan g ( x, y ) = u xg((xx,,yy)θ) θ= x(xx ) = tan ( ) θθ(θ(x(,xux,yuy,uy)uuuyyy(uy)=yx(yy)y(=(,x(=tan x,ytan x(xy,xx,tan ,,)y,yy)yy)))) u yy ( x, y )uuyuy(y(x(,xx,y,y)uy)y) ( x, y ) u x ( x, y ) −1 u x ( x, y ) は以下のように与える。 ここで、 uyuuu は以下のように与える。 ここで、 uuuuuu(x と は以下のように与える。 uと uxxx(x(x(,x((x(xy,xx,x,y,,)y,yyy)y))と ここで、 ここで、 )y)()と ここで、 ここで、 (yuy(xyxx(yyyy(x,,(,x(((x,(yyxy,xx,uxy),)y,,)y,x)y=yyは以下のように与える。 )と は以下のように与える。 ここで、 ))uととと )xは以下のように与える。 ,は以下のように与える。 yuθ−)1x((,xと , y ) は以下のように与える。 は以下のように与える。 ここで、 (は以下のように与える。 θと tan ) u と は以下のように与える。 ここで、 ( =xtan x,,yu y )yは以下のように与える。 と は以下のように与える。 ここで、x ここで、 uと u u ここで、 ( ))ここで、 ) xxxここで、 ( x , y u と ( ) ( x xx y y y y uy )( )は以下のように与える。 u ( x, y ) y x, y ) (x 1, y) −1, uuxuuuu(xuxxx(x(x(,x(x(xy,xx,x,y,,)y,yyy)= −(x y))= 1,y)yyy− L(x (x −1,y) 1,y) y) )y))−)−)L−−−L(x LLL(x −−− y) 1, y) ))=Lu====uLL(uLLLLx((x((x((+x((,xxxx+xx1,,+y+,++y1,+1,uy1,yy1, y(x Ly)y) (x − 1, y) −y1, ) xx ( +1,L1, y(1, −+L −1, L(x L(x 1, −)−1,−−1,1, y) ) 1,)=x)=(y=LxL)(,L−x(y(xL)+x+=(x )yx)−)y) x x x(x (x, 1) (x, uuyuuuu(yuyyx(yy((,x(x(xy,xx,x,y,,)y,yyy)= yy−yyy−y1) y))= L(x, (x, −1) LLL −−−1) , y ) と uuy x((xx, ,yy))は以下のように与える。 1) と u y ( x, y ) は以下のように与える。 ,−1) + 1y) y− −y−1) L (x, (x, y)ここで、 ux ( xここで、 )))=uL====uLyL(uLLLy(Lx(y(x((,x((x((,xxy,xx,xx,y,y,,+y,,yy)yyuyy+1+)=+y++))1+=1(1=−)11L)1x)−L))−)(L,L−−−−x(yL(x, yy ( ,y+yL+1+y(1)− 1x)−)1) −yL(x, L(x, (x, −1) 1) y − 1) (,xL)x,y=(x, L y u x ( x, y ) = LLL(L xLx(Lx(,x+x((xy,x,x1, −=は画像位置 LL(x 1) ))は画像位置 (x −での輝度値である。スケッチから得られる 1, y) ( x−+1,L1,(y)(x(y(x(,x()x(,xy,xx,−xy,y,),y,)yLy)yy))での輝度値である。スケッチから得られる LL 以下のように与えるただし、 での輝度値である。スケッチから得られる 以下のように与えるただし、 での輝度値である。スケッチから得られる x,y,),,y,yy)yyy))は画像位置 以下のように与えるただし、 以下のように与えるただし、 は画像位置 以下のように与えるただし、 は画像位置 での輝度値である。スケッチから得られる (u は画像位置 での輝度値である。スケッチから得られ 以下のように与えるただし、 ) 以下のように与えるただし、 は画像位置 での輝度値である。スケッチから得られる ( x xでの輝度値である。スケッチから得られる , y ) での輝度値である。スケッチから得られ は画像位置 での輝度値である。スケッチから得られる 以下のように与えるただし、 は画像位置 ( ) ) (での輝度値である。スケッチから得られる 以下のように与えるただし、 は画像位置 での輝度値である。スケッチから得られる L x , y x , y 以下のように与えるただし、 は画像位置 での輝度値である。スケッチから得られる L L x x , , y y 以下のように与えるただし、 以下のように与えるただし、 は画像位置 は画像位置 ( ) ( ) (, xy,y)y−))は画像位置 LL x((x, x((,xx,y,y)y))での輝度値である。スケッチから得られる 以下のように与えるただし、 ( ( (m) s(s()s()s(s)u (m) ( s()L (m) ) (m) ( u x , y = x , y + 1 − 1) ) (m) ( ) ) x , y = L + 1 − L (x, y − 1) ( モデル側から得られる ( f ( s ) で、3D ) モデル側から得られる )) で、3D (m) y OPHOG 特徴量ベクトルを で、3D OPHOG 特徴量ベクトルを で表現す OPHOG 特徴量ベクトルを モデル側から得られる OPHOG 特徴量ベクトルを で表現す yで、3Dモデル側から得られるOPHOG特徴量ベクトルを るOPHOG特徴量ベクトルを (m) fで表現 OPHOG 特徴量ベクトルを OPHOG 特徴量ベクトルを で表現す OPHOG 特徴量ベクトルを で、3D モデル側から得られる OPHOG 特徴量ベクトルを で表現す fffff((( sssで、3D ffff(m) OPHOG OPHOG 特徴量ベクトルを 特徴量ベクトルを で、3D OPHOG OPHOG 特徴量ベクトルを 特徴量ベクトルを で表現す で表現す ) で、3D (m) s(モデル側から得られる )sモデル側から得られる ) (m) (m) OPHOG 特徴量ベクトルを で、3D モデル側から得られる OPHOG 特徴量ベクトルを で表現す f (m) で表 OPHOGf f特徴量ベクトルを OPHOGf f特徴量ベクトルを ( s()モデル側から得られる (m) OPHOG 特徴量ベクトルを で、3D モデル側から得られる OPHOG 特徴量ベクトルを で表現す 値である。スケッチから得られる f で、3D f で表現す OPHOG 特徴量ベクトルを OPHOG 特徴量ベクトルを OPHOG OPHOG 特徴量ベクトルを 特徴量ベクトルを で、3D で、3D モデル側から得られる モデル側から得られる OPHOG OPHOG 特徴量ベクトルを 特徴量ベクトルを で表現す で表現す f ff モデル側から得られる f ff で表現す OPHOG 特徴量ベクトルを で、3D モデル側から得られる OPHOG 特徴量ベクトルを するとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 (m) るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 Lるとき、２つのベクトル間の距離を以下のように定義する。 x, yるとき、２つのベクトル間の距離を以下のように定義する。 , y での輝度値である。スケッチから得られる 以下のように与えるただし、 は画像位置 f で表現す OG 特徴量ベクトルを L x, y xは画像位置 x, y での輝度値である。スケッチから得られる 以下のように与えるただし、 るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 ( ) ( ) ()s()ss))) (m) (m) (m) (m) (m) (m)( s ) ss − ))− (m) s,s,sm ,,m min (m) ddd(dddds((,(s((s(m f (ffsf(dff)f(ss((((− f−− ,)m m =min min −ffm f(m) )=))))=)=i=min min m = min f で、3D モデル側から得られる OPHOG 特徴量ベクトルを OPHOG 特徴量ベクトルを で表現す iii) sOPHOG )s (m) ( 特徴量ベクトルを ()s( )s ) f (m) (m) iff f で、3D モデル側から得られる OPHOG 特徴量ベクトルを i , f(m) − fi (m) f (m) で表現す smin i ( s , m = min − f i 1,...,V = ii = 1,...,V = i= d=(iii1,...,V di1,...,V s s , , m m = = min min f f − − f f 1,...,V = ( ) =di1,...,V ( ( ) ) s , m = min f − f ) =1,...,V i =1,...,Vi i i i i= 1,...,V =1,...,V =i 1,...,V =1,...,V i =i1,...,V (s) ) ( )( (s) るとき、２つのベクトル間の距離を以下のように定義する。 るとき、２つのベクトル間の距離を以下のように定義する。 は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 VVVV モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 V は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 V は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッ ここで、 VVは視点総数である。すなわち、3D ここで、 は視点総数である。すなわち、3D スケッチとマンハッタン (s) (m) モデルの複数視点のうち、2D は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、ここで、 は視点総数である。すなわち、3D は視点総数である。すなわち、3D モデルの複数視点のうち、2D モデルの複数視点のうち、2D スケッチとマンハッタン スケッチとマンハッタン ここで、 ここで、 (s) (m) VdVV(は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン s , m = min f − f ) d s , m = min f − f ( ) i ここで、Vは視点総数である。すなわち、3Dモデルの複数視点のうち、2Dスケッチとマンハッ i 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 i =1,...,V 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 i =1,...,V 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 うち、2D スケッチとマンハッタン 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 タン距離でもっとも類似した場合の距離と定義する。 モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 V は視点総数である。すなわち、3D モデルの複数視点のうち、2D スケッチとマンハッタン ここで、 V は視点総数である。すなわち、3D 2.1.2 類似度制限型の多様体ランキング法の開発 2.1.2 類似度制限型の多様体ランキング法の開発 2.1.2 2.1.2類似度制限型の多様体ランキング法の開発 類似度制限型の多様体ランキング法の開発 2.1.2 類似度制限型の多様体ランキング法の開発 2.1.2 類似度制限型の多様体ランキング法の開発 2.1.2 2.1.2 類似度制限型の多様体ランキング法の開発 2.1.2 類似度制限型の多様体ランキング法の開発 距離でもっとも類似した場合の距離と定義する。 距離でもっとも類似した場合の距離と定義する。 2.1.2 類似度制限型の多様体ランキング法の開発 類似度制限型の多様体ランキング法の開発 2.1.2 2.1.2 類似度制限型の多様体ランキング法の開発 類似度制限型の多様体ランキング法の開発 類似度制限型の多様体ランキング法の開発 2.1.2 2.1.2 類似度制限型の多様体ランキング法の開発 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ラ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の 特徴量の OPHOG OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ 特徴量のOPHOGは、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ラ ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Man ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold 2.1.2 類似度制限型の多様体ランキング法の開発 ある。ここでは、更に多様体ランキ 2.1.2ンキング手法を改良した 類似度制限型の多様体ランキング法の開発 ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Similarity Constrained Constrained Manifold Manifold ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Manifold 「類似度制限型の多様体ランキング法」（SCMR: Similarity Constrained Ranking）を提案する。ここでの類似度とは、スケッチ入力される 22 次元データと 3D モデルとの類似 Ranking）を提案する。ここでの類似度とは、スケッチ入力される 次元データと 3D Ranking）を提案する。ここでの類似度とは、スケッチ入力される 222 次元データと 3D モデルとの類似 Ranking）を提案する。ここでの類似度とは、スケッチ入力される 2 次元データと 3D モデルとの類似 Ranking）を提案する。ここでの類似度とは、スケッチ入力される Ranking）を提案する。ここでの類似度とは、スケッチ入力される 2 次元データと 次元データと 3D 3D モデルとの類似 モデルとの類似 Ranking）を提案する。ここでの類似度とは、スケッチ入力される 3D モデルとの類似 Ranking）を提案する。ここでの類似度とは、スケッチ入力される 2モデルとの類似 次元データと 3D モデルとの Ranking）を提案する。ここでの類似度とは、スケッチ入力される 2 次元データと 3D モデルとの類似 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ R: Similarity Constrained Manifold 特徴量の OPHOG は、それ自体で、かなりの検索精度達成可能である。ここでは、更に多様体ランキ Ranking）を提案する。ここでの類似度とは、スケッチ入力される 2 次元データと 次元データと 3D モデルとの類似 Ranking）を提案する。ここでの類似度とは、スケッチ入力される Ranking）を提案する。ここでの類似度とは、スケッチ入力される 2次元データと 次元データと 3D 3D モデルとの類似 モデルとの類似 Ranking）を提案する。ここでの類似度とは、スケッチ入力される 22次元データと 3D モデルとの類似 Manifold Ranking） を提案する。ここでの類似度とは、スケッチ入力される2次元データと3Dモデ 度を意味する。3D モデルのデータベースに nn 個の特徴量ベクトル ff,..., ,..., ffnfnnを保持しているとする。検 を保持しているとする。検 度を意味する。3D モデルのデータベースに 個の特徴量ベクトル 度を意味する。3D モデルのデータベースに nnn 個の特徴量ベクトル f1ff,..., fnffnを保持しているとする。検 度を意味する。3D モデルのデータベースに n 個の特徴量ベクトル ,..., を保持しているとする。検 度を意味する。3D モデルのデータベースに 個の特徴量ベクトル 度を意味する。3D モデルのデータベースに 個の特徴量ベクトル を保持しているとする。検 11f 1,..., 度を意味する。3D モデルのデータベースに n 個の特徴量ベクトル を保持しているとする。検 度を意味する。3D モデルのデータベースに n 個の特徴量ベクトル f1を保持しているとする。検 ,...,Manifold fn を保持しているとする。 度を意味する。3D モデルのデータベースに n f11111,..., ,..., fnnnnを保持しているとする。検 を保持しているとする。検 Similarity Constrained Manifold 2ング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: 次元データとング手法を改良した「類似度制限型の多様体ランキング法」（SCMR: 3Dルとの類似度を意味する。3Dモデルのデータベースにn個の特徴量ベクトル モデルとの類似 Similarity Constrained 度を意味する。3D モデルのデータベースに n 個の特徴量ベクトル 個の特徴量ベクトル を保持しているとする。検 度を意味する。3D 度を意味する。3D モデルのデータベースに モデルのデータベースに n個の特徴量ベクトル 個の特徴量ベクトル f11,..., ,..., fnを保持しているとする。検 度を意味する。3D モデルのデータベースに nn個の特徴量ベクトル f1f,..., fnfを保持してい n を保持しているとする。検 索では、最終的に、この nn 個のベクトルにランキングスコア を各 fifに対して順序付けを行うことを に対して順序付けを行うことを 索では、最終的に、この 個のベクトルにランキングスコア 索では、最終的に、この nnn 個のベクトルにランキングスコア ri rririrrを各 f ffに対して順序付けを行うことを 索では、最終的に、この n 個のベクトルにランキングスコア riiiを各 を各 に対して順序付けを行うことを 索では、最終的に、この 個のベクトルにランキングスコア を各 索では、最終的に、この 個のベクトルにランキングスコア を各 if i に対して順序付けを行うことを 索では、最終的に、この n 個のベクトルにランキングスコア を各 に対して順序付けを行うことを 索では、最終的に、この n 個のベクトルにランキングスコア rfiに対して順序付けを行うことを を各 fi に対して順序付けを行うこ 索では、最終的に、この n fiiiiiに対して順序付けを行うことを 2 次元データと 3Di モデルとの類似 ,..., fn を保持しているとする。検 Ranking）を提案する。ここでの類似度とは、スケッチ入力される 次元データと モデルとの類似 索では、最終的に、この n 個のベクトルにランキングスコア 個のベクトルにランキングスコア を各 に対して順序付けを行うことを 索では、最終的に、この 索では、最終的に、この n個のベクトルにランキングスコア 個のベクトルにランキングスコア rri を各 を各 f に対して順序付けを行うことを に対して順序付けを行うことを るとする。検索では、最終的に、このn個のベクトルにランキングスコア を各 に対して順序付 iii2 を各 索では、最終的に、この nn個のベクトルにランキングスコア rに対して順序付けを行うことを f3D 1Ranking）を提案する。ここでの類似度とは、スケッチ入力される i i を各 i ii ( s()(s(s(()s)(ss)s))) 意味する。2.1 で述べた OPHOG 特徴量を使えば ff,..., ,..., ffnfnnと と 2D スケッチから得られる との類似度を 意味する。2.1 で述べた OPHOG 特徴量を使えば 2D スケッチから得られる (( ssとの類似度を ))との類似度を f ffffffとの類似度を 意味する。2.1 で述べた OPHOG 特徴量を使えば f1fff,..., fnfffnと 2D スケッチから得られる 意味する。2.1 で述べた OPHOG 特徴量を使えば ,..., と 2D スケッチから得られる との類似度を 意味する。2.1 で述べた OPHOG 特徴量を使えば ,..., と 2D スケッチから得られる 意味する。2.1 で述べた OPHOG 特徴量を使えば と 2D との類似度を 11f 1,..., 意味する。2.1 で述べた OPHOG 特徴量を使えば と 2D スケッチから得られる との類似度を f ( s ) との類似 意味する。2.1 で述べた OPHOG 特徴量を使えば f1と ,..., fスケッチから得られる と 2D スケッチから得られる ( s()s( )s ) 意味する。2.1 で述べた OPHOG 特徴量を使えば f1111,..., ,..., fnnnを保持しているとする。検 と スケッチから得られる との類似度を モデルのデータベースに nで述べた 個の特徴量ベクトル 各度を意味する。3D fi に対して順序付けを行うことを nスケッチから得られる 度を意味する。3D モデルのデータベースに n 個の特徴量ベクトル f1スケッチから得られる f を保持しているとする。検 けを行うことを意味する。2.1で述べたOPHOG特徴量を使えば と2Dスケッチから得られる 意味する。2.1 で述べた OPHOG 特徴量を使えば と 2D スケッチから得られる との類似度を f f 意味する。2.1 意味する。2.1 で述べた OPHOG OPHOG 特徴量を使えば 特徴量を使えば f11,..., ,..., fn fnと と 2D 2D スケッチから得られる との類似度を との類似度を 11 nn f 意味する。2.1 で述べた OPHOG 特徴量を使えば f1f2D ,..., f,..., 2D との類似度を n n 計算し、ランキングスコア を計算できるが、これを更に改良することができる。SCMR はそれを可 計算し、ランキングスコア はそれを可 計算し、ランキングスコア ri rririrrを計算できるが、これを更に改良することができる。SCMR はそれを可 riiiを計算できるが、これを更に改良することができる。SCMR を計算できるが、これを更に改良することができる。SCMR はそれを可 (計算し、ランキングスコア s) を計算できるが、これを更に改良することができる。SCMR はそれを可 計算し、ランキングスコア を計算できるが、これを更に改良することができる。SCMR はそれを可 計算し、ランキングスコア を計算できるが、これを更に改良することができる。SCMR はそれを可 計算し、ランキングスコア r を計算できるが、これを更に改良することができる。SCMR はそれを 計算し、ランキングスコア を計算できるが、これを更に改良することができる。SCMR はそれを可 索では、最終的に、この n 個のベクトルにランキングスコア r を各 f に対して順序付けを行うことを f計算し、ランキングスコア との類似度を計算し、ランキングスコア を計算できるが、これを更に改良することができる。 ッチから得られる との類似度を i i 索では、最終的に、この n 個のベクトルにランキングスコア r を各 f に対して順序付けを行うことを 計算し、ランキングスコア はそれを可 計算し、ランキングスコア 計算し、ランキングスコア を計算できるが、これを更に改良することができる。SCMR はそれを可 はそれを可 ii を計算できるが、これを更に改良することができる。SCMR i i 計算し、ランキングスコア ririrを計算できるが、これを更に改良することができる。SCMR はそれを可 i i i を計算できるが、これを更に改良することができる。SCMR 能とする方法である。いま、n 個の 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 個の 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 個の 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 個の 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 個の 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 個の モデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 個の SCMRはそれを可能とする方法である。いま、n個の3Dモデルが多様体上で非線形な構造を有する 能とする方法である。いま、n 個の 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 f ( s ) との類似度を 意味する。2.1意味する。2.1 で述べた OPHOG 特徴量を使えば f個の ,..., f3D 2D ることができる。SCMR はそれを可 f ( s ) との類似度を で述べた OPHOG 特徴量を使えば fスケッチから得られる ,..., fモデルが多様体上で非線形な構造を有すると仮定する。一方、 と3D 2Dモデルが多様体上で非線形な構造を有すると仮定する。一 スケッチから得られる 能とする方法である。いま、n 3D 能とする方法である。いま、n 能とする方法である。いま、n 個の 個の 3D 3D 1個の n とモデルが多様体上で非線形な構造を有すると仮定する。一方、 能とする方法である。いま、n 個の モデルが多様体上で非線形な構造を有すると仮定する。一方、 13D nモデルが多様体上で非線形な構造を有すると仮定する。一方、 W 各 3D モデル間は、互いの類似性で類似行列 を事前に計算することができる。この を W = 3D モデル間は、互いの類似性で類似行列 を事前に計算することができる。この WW Wをを 各各 3D モデル間は、互いの類似性で類似行列 を事前に計算することができる。この 各 3D モデル間は、互いの類似性で類似行列 を事前に計算することができる。この を WW = W= = ww W W 各 3D モデル間は、互いの類似性で類似行列 を W W = = www 各 3D モデル間は、互いの類似性で類似行列 を事前に計算することができる。この を ijw W 各 を W 各 3Dr モデル間は、互いの類似性で類似行列 を事前に計算することができる。この W = wij はそれを可 ijijijijij を事前に計算することができる。この と仮定する。一方、各3Dモデル間は、互いの類似性で類似行列 を事前に計算することが 各 3D モデル間は、互いの類似性で類似行列 を事前に計算することができる。この を 計算し、ランキングスコア r各 を計算できるが、これを更に改良することができる。SCMR な構造を有すると仮定する。一方、 計算し、ランキングスコア はそれを可 W 各 3D 3D モデル間は、互いの類似性で類似行列 モデル間は、互いの類似性で類似行列 を事前に計算することができる。この を WW W= = ij w w Wをを 各 3D 3D モデル間は、互いの類似性で類似行列 モデル間は、互いの類似性で類似行列 を事前に計算することができる。この を事前に計算することができる。この をW W Wを事前に計算することができる。この w ij i各 3D モデル間は、互いの類似性で類似行列 を事前に計算することができる。この ===ww i を計算できるが、これを更に改良することができる。SCMR ijW ij ij ij 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 できる。このWを用いて以下のコスト関数 （ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 能とする方法である。いま、n 個の 用いて以下のコスト関数（ペナルティ関数）を定義する。 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 W用いて以下のコスト関数（ペナルティ関数）を定義する。 算することができる。この を 能とする方法である。いま、n 個の 3D モデルが多様体上で非線形な構造を有すると仮定する。一方、 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 用いて以下のコスト関数（ペナルティ関数）を定義する。 ( (((((() )))))) ( (( ) )) ( ) 2 222222 n nnnæn næææææ 各 3D モデル間は、互いの類似性で類似行列 W = wij 1を事前に計算することができる。この r rrrjrrj1rjjö÷j ö÷÷ö÷n÷÷ööö÷÷ö÷22 æ r ö2öö22 r W÷ö を W を 各 3D モデル間は、互いの類似性で類似行列 rriririjririi を事前に計算することができる。この 111111W çççæççriw çnnn= n næjææ ( ) 2 ( ) çw ÷ ÷ r i r n ÷ ÷ ç ç ç ç ççç ri÷÷÷w - çç jj÷r÷rw w rirr 11ww 2 11å ççijijijijijij j j j ÷÷-÷÷÷÷ j ÷÷ wij å çç ççrj÷i å çç ççççççççççç 1ii å ij w å å ÷÷i÷÷÷i÷÷÷÷÷÷÷w -ij D ÷ ÷÷w wijij ÷÷ 2 ÷÷w 2 ÷ 2 2i ,222jii=,,ijiiå D D 用いて以下のコスト関数（ペナルティ関数）を定義する。 D D D D ç D D ç ç 用いて以下のコスト関数（ペナルティ関数）を定義する。 å å = ,1ij= 1 ç ç D D 1j= ç D D = ç ,jç 1 å ç ij D 1 ii jj ÷ jè ,,= 1 2 ii jj è ø jj øjjD jjø ijj ,øjø ÷iiø=øøii1ççè ij D iiD÷ jj ø 2 ii ,, jjj===èè111çèçèèè iiD ÷ ÷ D 2ii2iiiiiiiii2ii, ij,=ij,1=jççè=11ççèjjççèDD jjD ÷ jj ii jj jjøjjøø 2 2 æ ö rj ö÷÷ 1 n çç ri 1 rn j æç ÷÷ ri ç w ÷÷ wij åç çç ÷÷÷ ij 2 i , j=1ççè Dii 2 iå =1jjç , jD è ø D－ii 15 －D jj ÷ø å å å ååå åå å å ただし、 Dii = wij である。これは、i 番目の 3D モデルから見た、その他の 3D モデルの類似度 ただし、 ただし、 である。これは、i である。これは、i 番目の 番目の 3D 3Dモデルから見た、その他の モデルから見た、その他の 3D 3Dモデルの類似度 モデルの類似度 DD =D =ii = wj ijwj ij w ただし、 である。これは、i 番目の 3D モデルから見た、その他の 3D モデルの類似度 D = ii ii ただし、 である。これは、i 番目の 3D モデルから見た、その他の 3D モデルの類似度 ij j ただし、 ただし、 ただし、 である。これは、i である。これは、i である。これは、i 番目の 番目の 番目の 3D 3Dモデルから見た、その他の 3D モデルから見た、その他の モデルから見た、その他の 3D 3Dモデルの類似度 3D モデルの類似度 モデルの類似度 DD =D= wwj ww iiD ijw ただし、 である。これは、i 番目の 3D モデルから見た、その他の 3D モデルの類似度 ii ii ii ii== j j ij jijj j ij ij ただし、 である。これは、i 番目の 3D モデルから見た、その他の 3D D = w ただし、 である。これは、i 番目の 3D モデルから見た、その他の 3Dモデルの類似 モデルの類 D w ただし、 Dii = 番目の 3D モデルから見た、その他の 3D モデルの類似度 w である。これは、i ii = ij j ij の重み総和である。同様に、 Diijj = j ji wijij であり、これは、j 番目の 3D モデル以外から見たその他の であり、これは、j 番目の 番目の 3D 3Dモデル以外から見たその他の モデル以外から見たその他の の重み総和である。同様に、 の重み総和である。同様に、 D D = =jj = wであり、これは、j であり、これは、j 番目の 3D モデル以外から見たその他の の重み総和である。同様に、 D =i ww ww jj jj ただし、 である。これは、i 番目の 3D モデルから見た、その他の 3D モデルの類似度 番目の 3D モデル以外から見たその他の の重み総和である。同様に、 D w Dii = w である。これは、i番目の3Dモデルから見た、その他の3Dモデルの類似 ij ただし、 i ijwijiであり、これは、j であり、これは、j であり、これは、j 番目の 番目の 番目の 3D 3Dモデル以外から見たその他の 3D モデル以外から見たその他の モデル以外から見たその他の の重み総和である。同様に、 の重み総和である。同様に、 の重み総和である。同様に、 = D= jjjj = ijwであり、これは、j であり、これは、j 番目の 3D モデル以外から見たその他の の重み総和である。同様に、 D j ij DD jj jj jj = i i ij iiji i ij ij 番目の 3D モデル以外から見たその の重み総和である。同様に、 DDjj jj== i w であり、これは、j 番目の 3D モデル以外から見たそ の重み総和である。同様に、 w 3D モデルの類似度の重み総和である。上述のコスト関数は、i 番目の j 番目の 3D モデル であり、これは、j 番目の3D 3Dモデルと モデル以外から見たその他の の重み総和である。同様に、 D jj = w であり、これは、j番目の3Dモデル以外から見たその 度の重み総和である。同様に、 ij ijであり、これは、j i番目の i ij 3D 3Dモデルの類似度の重み総和である。上述のコスト関数は、i モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 3D 3Dモデルと モデルと j 番目の j 番目の 3D 3Dモデル モデル 3D モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 3D モデルと j 番目の 番目の 3D モデル 3D モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 3D モデルと j 3D モデル 3D 3D モデルの類似度の重み総和である。上述のコスト関数は、i 3D モデルの類似度の重み総和である。上述のコスト関数は、i モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 番目の 番目の 3D 3D モデルと 3D モデルと モデルと j 番目の j 番目の j 番目の 3D 3D モデル 3D モデル モデル 3D モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 3D モデルと j 番目の 3D モデル の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 であり、これは、j 番目の 3D モデル以外から見たその他の の重み総和である。同様に、 D jj = w 他の3Dモデルの類似度の重み総和である。上述のコスト関数は、i番目の3Dモデルとj番目の3Dモ ij i の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 3D 番目の 3D 3Dモデルの類似度の重み総和である。上述のコスト関数は、i モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 3Dモデルと モデルと j 番目の3D 3Dモモ の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 3D モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 3D モデルと j 番目の 3D モデルj 番目の の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 数として与え、これを 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 デルの類似度に、ランキングスコアと類似度の重み総和 （の平方根）の比をとり、差の２乗和を類似 数として与え、これを 数として与え、これを 3D 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 数として与え、これを 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似 数として与え、これを 3D 3D モデルの類似度の重み総和である。上述のコスト関数は、i 番目の 3D モデルと j 番目の 3D モデル の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 数として与え、これを 数として与え、これを 数として与え、これを 3D 3Dモデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 数として与え、これを 3Dモデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR の最 度に係数として与え、これを3Dモデルデータベース全体での 「ひずみ」に相当する値としてペナル えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR SCMR の最 の最 えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR の最 数として与え、これを 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルティ 数として与え、これを 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルテ えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR の最 の類似度に、ランキングスコアと類似度の重み総和（の平方根）の比をとり、差の２乗和を類似度に係 数として与え、これを 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR SCMR SCMR の最 の最 の最 えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR の最 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で ティを与えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが 終目的である。1/2 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMRの 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で 数として与え、これを 3D モデルデータベース全体での「ひずみ」に相当する値としてペナルティを与 えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR の最 終目的である。1/2 終目的である。1/2 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 SCMRの最終目的である。1/2の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消え ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 えることを意味する。従って、このひずみが最小になるように再ランキングを行うことが SCMR の最 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 るための工夫である。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性 n é ù ,m ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制 2 ある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、 n nある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 終目的である。1/2 の係数は、あとで偏微分を行うときに２乗と相殺し、定数項が消えるための工夫で iù) ú ù é é dê-ééd( sd(,ds(m,s(m n )2s),,iùú,)ùm ))ùúùであり、 zi は、クエリであるスケッチ s is n n nn(nri - 2zi2) 22 を追加する。ただし、 zi = exp d s m é é é ùiim é ù ê ê d d s , d s m , m m ( ( ( ) ê d ( sú,であり、 zi z= exp exp s s ss ê ê2を追加する。ただし、 2 2を追加する。ただし、 -zrrii z)を追加する。ただし、 zi ziは、クエリであるスケッチ (i=rある。ただし、ここで与えたコスト関数の最適化を行うと、過適合を起こす危険性があるため、制限項 (r1i riú であり、 zz= exp = zzは、クエリであるスケッチ ú ) iú) úであり、 i = i( i 2)z 2s 2 i ú2iú ú úであり、 exp = z を追加する。ただし、 であり、 は、クエリであるスケッチ i i ê ê ê ii は、クエリであるスケッチ ê ê ê z z z exp exp exp = = s s ss r r z z z を追加する。ただし、 を追加する。ただし、 を追加する。ただし、 であり、 であり、 z z zは、クエリであるスケッチ は、クエリであるスケッチ ë û ( ( ( i ) ) i ) を追加する。ただし、 êê súú であり、 exp 22 nn s é ù i i iizi = i d iは、クエリであるスケッチ iz é ù ê ú s 2 2s im)は、クエリであるスケッチ i =1i =1 in=i 1 i (iirii -izi ) é ù d s , m 2 ( s , ( ) ê ê ú ú ë ë û û 2 s d , m 2 ( ) ê ú i ë û 2 iú ú s s s i s ë û ê =1ii==1i1=1 i =1iがあるため、制限項 を追加する。ただし、 ê ú û exp ë ë êëë ûziûz= z を追加する。ただし、 であり、 zizi は、クエリであるスケッ であり、z (r(i riは、クエ を追加する。ただし、 であり、 は、クエリであるスケ û exp-- zi 2 は、クエリであるスケッチ zi = exp s (ri - zi ) を追加する。ただし、 i =であり、 i - iz)i ) 2 åå å å å ååå åå å å åå å å å å åå åå å å å ê ê ss ú ú ê é d (ss, m )ú ù ëë ûû ë û ê ú m との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 s は正規 s と、3D モデル z = exp rzm)m との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 を追加する。ただし、 であり、 z は、クエリであるスケッチ (モデル å との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 s s は正規 は正規 と、3D と、3D モデル m との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 s は正規 と、3D モデル ê ú m との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 ss は正規 と、3D モデル s mm との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 mとの（距離に応じて指数関数的に減衰するような）類似度をあらわす。 との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 s s は正規 は正規 は正規 と、3D と、3D と、3D モデル モデル モデル n i =1 2 i i i i i 2 i =i1=1 i i 2 i i =1 iと、3D s は正規 モデル （距離に応じて指数関数的に減衰するような） 類似度をあら リであるスケッチsと、3Dモデルm iとの ë û i i im i i との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 m との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 ss は正 と、3D モデル 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を m との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 は と、3D モデル s は正規 と、3D モデル mi との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 i i わす。σは正規分布的なアナロジーで、標準偏差 （ガウス窓）パラメータをあらわす。最終的にコス 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 足し合わせた以下の関数の最小化を考える。 と、3D モデル mi との（距離に応じて指数関数的に減衰するような）類似度をあらわす。 s は正規 足し合わせた以下の関数の最小化を考える。 足し合わせた以下の関数の最小化を考える。 ト関数と制限項を足し合わせた以下の関数の最小化を考える。 足し合わせた以下の関数の最小化を考える。 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制 足し合わせた以下の関数の最小化を考える。 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 足し合わせた以下の関数の最小化を考える。 足し合わせた以下の関数の最小化を考える。 足し合わせた以下の関数の最小化を考える。 足し合わせた以下の関数の最小化を考える。 2 æ 2 2ö ÷ n J (r )1=1 n11å rrrii--rj rj ÷rrö÷rjj÷÷ö÷r÷÷ ÷÷ö÷w ö÷ij+m+mmn å nç n nn(nri - 2zi2) 2 2 ççæç1çççæçnrççrinçççiræçri iæç1 1 1 = = + -zrrii z)J J r r w w r(1i r÷ ÷ ( ( ) ) ( ÷ r j j j = + J r w m ( ) j i å å å å ÷ 2 ij ij i( i 2)z 2 ÷ ÷ ÷ i D D w mmi(=å z2zö2ii2i)z)2)2 足し合わせた以下の関数の最小化を考える。 ÷÷æw+ ijm+ ÷÷÷jj÷÷÷wøöijw çç1çèDæçD çç ç÷ n+ i ,çç jå = ii - -D + J J(r(J)Jr= r(2)r= m rn(iå rrzi(riizö ç ij )J(r= ( ) ) æ + w m r n÷÷ nn ),å 2i= ç å å å å D ij ij i i n 2 ç å ç ç ij i ji= j i i = = = = ,å 1 1 1 1 D D r ç ÷ ÷ ÷ jj ø jjr÷ 1jø÷1D ÷øø÷ ÷÷çç çç rii=ri1i=1iii===111 j j ÷÷ ÷÷ 2i 22 D jj ççè=ççèiiD çiiriiD 2 2 122èççèii2i,,1è,jjççèj==i=,11D DJiiiiD D D jjjj÷ iJ ÷÷å j1çè i =1r -÷z÷ww ++ 1iiç iir jj= jjD ø ø = m r(i rz 2ø ( ( r m ii) jjø w è ( ) + J (r ) =i , ji=, 1j =å m ( ) ç å å ij ç å ij i - iz)i ) ç å ÷ ij i i ÷ æ ö ÷ n ç 0 である。 n ÷÷ 22J r=ççè)1ççèを DD ただし、 m は、正則化パラメータで r ii i=で微分して整形すると、 21> i =i1=1 Driii ççである。 ii jj jjø ø 2 i ,m j => 1 DD ただし、μは、正則化パラメータでμ＞0である。 を で微分して整形すると、 JDJ(rrjjj(i ,)JJr÷øji(=,÷÷÷)j(1を ただし、 ただし、 は、正則化パラメータで である。 を r r+ で微分して整形すると、 で微分して整形すると、 mm は、正則化パラメータで mm > 010çè> r は、正則化パラメータで である。 を r で微分して整形すると、 ただし、 m m 0 ) = J r w m r zi ) ( ) ( r ただし、 は、正則化パラメータで である。 を r で微分して整形すると、 m m > 0 ç å å ij i J J r J r r ただし、 ただし、 ただし、 である。 である。 である。 を を r r を で微分して整形すると、 r で微分して整形すると、 で微分して整形すると、 mm は、正則化パラメータで mは、正則化パラメータで m2m>> m 0m0> 0 ( ( ) ) ( ) ÷ J r ただし、 は、正則化パラメータで である。 を r で微分して整形すると、 m は、正則化パラメータで > 0 ( ) ç Dii ÷1 i , j =1 ç i =1 jj 1ø z èr = ( I - aD -1M ) 1> ただし、 m 00 である。 ただし、mm は、正則化パラメータで は、正則化パラメータで である。J J( r()r )ををr r で微分して整形すると、 で微分して整形すると、 m J r> ただし、 m は、正則化パラメータで である。 mr > 0(rI(= r== I a a M M z z 1 1( -1) 1-z1を r で微分して整形すると、 ) ) I a M ( ) r(rI= II(a M z () r r== I= a M M a M z z z (r=(a ) ) ) I - aM ) z -1-1 ただし、 m は、正則化パラメータで を r で微分して整形すると、 m > 0 である。 J-(1r )r = 1 1 r = I a M )T z r =( I( I--aaMM) )T z z ( 1 1 2 11 1 2 1 - -WD 11 1 1 11で、 r = [ r ,...,TrT ] が得られる。ただし、 M =--D 、 であり、 a Î [0,1) は 1 z = [ z1 ,...,Tz nT ] T T 21-21 -2 12 2 1 1 r r n 、、 TTT 2MM=M =DD WD WD が得られる。ただし、 が得られる。ただし、 で、 で、 であり、 はは は r r=r= r1[= ,..., r1(,..., = z,..., aaÎÎ [0,1) [0,1) T]M T ) TzTz [ ] [zzzzz[1= Tであり、 M = D WD が得られる。ただし、 で、 、= であり、 は = I a r = r ,..., r = zz1z,..., ,..., zzTであり、 a ÎÎ[0,1) [0,1) [ ] ] 1 [[,..., n n nz]nT]z 2D 2 22WD 22 2 22 2で、 = が得られる。ただし、 、 r r ,..., r z Î 1 n nnであり、 [ ] ] MM =M = D= D=WD DWD WD が得られる。ただし、 が得られる。ただし、 が得られる。ただし、 で、 で、 で、 、 、 、 であり、 であり、 はは はは r r = = r r = ,..., r ,..., r r ,..., r r z z = = = z ,..., ,..., z ,..., z aaÎa Î [0,1) aa [0,1) [0,1) 1 1 1 1 n が 得 ら れ る。 た だ し、 で、 、 で り、 は [ [ [ ] ] ] [ [ [ ] ] ] 1 1 M D WD が得られる。ただし、 で、 、 であり、 r = r ,..., r z = ,..., z Î [0,1) 1 1 1 1- -1[ n1 n n n ] 1 1 [1 1n n n n ]あ T T T T T T 2 -D 1 D2WD 2 MM =)1= が得られる。ただし、 aaÎÎ[0,1) WDr2n2]で、 が得られる。ただし、 で、 、z z==[ z[1z,..., であり、 ,...,rnzr]nn ] 、であり、 ,..., z]n ] であり、 [0,1 M = D 2WD が得られる。ただし、 で、 、rzr= は = ==[[r[z1r1,..., Îzn[0,1) [ r ,..., 1,..., 1a -1-r の値は、事前にオフラインで計算できる行列である。 チューニング用パラメータである。 チューニング用パラメータである。 の値は、事前にオフラインで計算できる行列であ 11 1 1 (I 1 aM の値は、事前にオフラインで計算できる行列である。 の値は、事前にオフラインで計算できる行列である。 チューニング用パラメータである。 チューニング用パラメータである。 I I a a M M 1 1 1 ( ( ) ) T T 1 の値は、事前にオフラインで計算できる行列である。 チューニング用パラメータである。 I a M ( ) チューニング用パラメータである。 II2(aa の値は、事前にオフラインで計算できる行列である。 チューニング用パラメータである。 チューニング用パラメータである。 チューニング用パラメータである。 I (a M M M ((a )M ) の値は、事前にオフラインで計算できる行列である。 M = D (2IWD が得られる。ただし、 、 z = [ z1 ,..., zn ] であり、 a Î [0,1) は r))の値は、事前にオフラインで計算できる行列である。 = チューニング用パラメータである。 I で、 a M [ rの値は、事前にオフラインで計算できる行列である。 )の値は、事前にオフラインで計算できる行列である。 1 ,..., rn ] る。 -1-1 -1 チューニング用パラメータである。 の値は、事前にオフラインで計算できる行列で チューニング用パラメータである。 ( I( I--aaMM) ) の値は、事前にオフラインで計算できる行列であ チューニング用パラメータである。 ( I - a M ) の値は、事前にオフラインで計算できる行列である。 足し合わせた以下の関数の最小化を考える。 足し合わせた以下の関数の最小化を考える。 1n nænæn çç ææ ri r r röj 2ö ÷÷2 öö222 2 n n n n 2 分布的なアナロジーで、標準偏差（ガウス窓）パラメータをあらわす。最終的にコスト関数と制限項を 足し合わせた以下の関数の最小化を考える。 -1 チューニング用パラメータである。 ( I - a M ) の値は、事前にオフラインで計算できる行列である。 2.1.3 SHREC2014 スケッチコンテスト 2.1.3 SHREC2014スケッチコンテスト 2.1.3 2.1.3 SHREC2014 SHREC2014 スケッチコンテスト スケッチコンテスト 2.1.3 SHREC2014 スケッチコンテスト 2.1.3 SHREC2014 スケッチコンテスト 2.1.3 2.1.3 2.1.3 SHREC2014 SHREC2014 SHREC2014 スケッチコンテスト スケッチコンテスト スケッチコンテスト 2.1.3 スケッチコンテスト 2.1.1 と SHREC2014 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014 (Shape 2.1.1と2.1.2に述べた手法に基づき、2014年に行われた国際コンテストSHREC2014 (Shape 2.1.1 2.1.1 と と 2.1.2 2.1.2 に述べた手法に基づき、2014 に述べた手法に基づき、2014 年に行われた国際コンテスト 年に行われた国際コンテスト SHREC2014 SHREC2014 (Shape (Shape 2.1.3 SHREC2014 2.1.1 と 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014 (Shape 2.1.3 SHREC2014スケッチコンテスト スケッチコンテスト 2.1.3 SHREC2014 スケッチコンテスト 2.1.1 と 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014 (Shape 2.1.1 2.1.1 2.1.1 と と 2.1.2 と 2.1.2 2.1.2 に述べた手法に基づき、2014 に述べた手法に基づき、2014 に述べた手法に基づき、2014 年に行われた国際コンテスト 年に行われた国際コンテスト 年に行われた国際コンテスト SHREC2014 SHREC2014 SHREC2014 (Shape (Shape (Shape 2.1.1 と 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014 (Shape Retrieval Contest)のスケッチから 3D モデルを検索するトラックに正式参加した。チーム名は Tatsuma Retrieval Contest)のスケッチから3Dモデルを検索するトラックに正式参加した。チーム名は Retrieval Retrieval Contest)のスケッチから Contest)のスケッチから 3D 3D モデルを検索するトラックに正式参加した。チーム名は モデルを検索するトラックに正式参加した。チーム名は Tatsuma Tatsuma 2.1.1 と 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014 Retrieval Contest)のスケッチから 3D モデルを検索するトラックに正式参加した。チーム名は Tatsuma 2.1.3 SHREC2014 スケッチコンテスト 2.1.1 と 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014(Shape (Shap 2.1.1 と 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014 (Shape Retrieval Contest)のスケッチから 3D モデルを検索するトラックに正式参加した。チーム名は Tatsuma Retrieval Retrieval Retrieval Contest)のスケッチから Contest)のスケッチから Contest)のスケッチから 3D 3D モデルを検索するトラックに正式参加した。チーム名は 3D モデルを検索するトラックに正式参加した。チーム名は モデルを検索するトラックに正式参加した。チーム名は Tatsuma Tatsuma Tatsuma Retrieval Contest)のスケッチから モデルを検索するトラックに正式参加した。チーム名は Tatsuma で手法は 2.1.1 で述べた OPHOG 法と3D 2.1.2 で述べた SCMR と OPHOG を組み合わせた SCMR-OPHOG Tatsumaで 手 法 は 2. 1. 1 で 述 べ たOPHOG法 と 2. 1. 2 で 述 べ たSCMRとOPHOGを 組 み 合 わ せ た で手法は で手法は 2.1.1 2.1.1 で述べた で述べた OPHOG OPHOG 法と 法と 2.1.2 2.1.2 で述べた で述べた SCMR SCMR と とOPHOG OPHOG を組み合わせた を組み合わせた SCMR-OPHOG SCMR-OPHOG Retrieval Contest)のスケッチから 3D モデルを検索するトラックに正式参加した。チーム名は Tat で手法は 2.1.1 で述べた OPHOG 法と 2.1.2 で述べた SCMR と OPHOG を組み合わせた SCMR-OPHOG 2.1.1 と 2.1.2 に述べた手法に基づき、2014 年に行われた国際コンテスト SHREC2014 (Shape Retrieval Contest)のスケッチから 3D モデルを検索するトラックに正式参加した。チーム名は T Retrieval Contest)のスケッチから 3D モデルを検索するトラックに正式参加した。チーム名は Tatsuma で手法は 2.1.1 で述べた OPHOG 法と 2.1.2 で述べた SCMR と OPHOG を組み合わせた SCMR-OPHOG で手法は で手法は で手法は 2.1.1 2.1.1 2.1.1 で述べた で述べた で述べた OPHOG OPHOG 法と 法と 法と 2.1.2 2.1.2 2.1.2 で述べた で述べた で述べた SCMR SCMR SCMR ととOPHOG と OPHOG OPHOG を組み合わせた を組み合わせた を組み合わせた SCMR-OPHOG SCMR-OPHOG SCMR-OPHOG で手法は 2.1.1 で述べた OPHOG 法と 2.1.2 で述べた SCMR と OPHOG を組み合わせた SCMR-OPHOG 5) OPHOG 5) 法の２つで参加した 「スケッチからの 3D モデル検索」タスクでは、事前に膨大なス SCMR-OPHOG法の２つで参加した 「スケッチからの3Dモデル検索」 タスクでは、 5) 5) 5)。SHREC2014。SHREC2014 法の２つで参加した 法の２つで参加した 。SHREC2014 。SHREC2014 「スケッチからの 「スケッチからの 3D 3D モデル検索」タスクでは、事前に膨大なス モデル検索」タスクでは、事前に膨大なス 5) で手法は 2.1.1 OPHOG 2.1.2 で述べた SCMR を組み合わせた 法の２つで参加した 。SHREC2014 「スケッチからの 3D モデル検索」タスクでは、事前に膨大なス Retrieval2.1.1 Contest)のスケッチから 3D モデルを検索するトラックに正式参加した。チーム名は Tatsuma SCMR-OP で手法は 2.1.1で述べた で述べた OPHOG法と 法と 2.1.2 で述べたを組み合わせた SCMRととOPHOG OPHOG を組み合わせた SCMR-OP で手法は で述べた OPHOG 法と 2.1.2 で述べた SCMR と OPHOG SCMR-OPHOG 5) 5) 5) 。SHREC2014 法の２つで参加した 「スケッチからの 3D モデル検索」タスクでは、事前に膨大なス 5) 法の２つで参加した 法の２つで参加した 法の２つで参加した 。SHREC2014 。SHREC2014 。SHREC2014 「スケッチからの 「スケッチからの 「スケッチからの 3D 3Dモデル検索」タスクでは、事前に膨大なス 3D モデル検索」タスクでは、事前に膨大なス モデル検索」タスクでは、事前に膨大なス 法の２つで参加した 。SHREC2014 「スケッチからの 3D モデル検索」タスクでは、事前に膨大なス ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 171 クラス（ベッ 事前に膨大なスケッチデータ （13,680枚） が訓練データとして与えられる。このスケッチデータは 5)。SHREC2014 「スケッチからの 3D モデル検索」タスクでは、事前に膨大 ケッチデータ（13,680 ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 枚）が訓練データとして与えられる。このスケッチデータは 171 171 クラス（ベッ クラス（ベッ 5) 法の２つで参加した ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 171 クラス（ベッ で手法は 2.1.1 で述べた OPHOG 法と5) 2.1.2 で述べた SCMR と OPHOG を組み合わせた SCMR-OPHOG 法の２つで参加した 。SHREC2014 「スケッチからの 3D モデル検索」タスクでは、事前に膨 法の２つで参加した 。SHREC2014 「スケッチからの 3D モデル検索」タスクでは、事前に膨大なス ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 171 クラス（ベッ ケッチデータ（13,680 ケッチデータ（13,680 ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 枚）が訓練データとして与えられる。このスケッチデータは 枚）が訓練データとして与えられる。このスケッチデータは 171 171 171 クラス（ベッ クラス（ベッ クラス（ベッ ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 171 クラス（ベッ 171クラス （ベッド、椅子、ベンチ、本棚、キャビネットなど） 種類に分かれており、対応する3Dモ ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D モデルデータベース 5) ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D 3D モデルデータベース モデルデータベース ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D モデルデータベース 法の２つで参加した 。SHREC2014 「スケッチからの 3D モデル検索」タスクでは、事前に膨大なス ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 171クラス（ クラス ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 171 クラス（ベッ171 ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D モデルデータベース ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D 3Dモデルデータベース 3D モデルデータベース モデルデータベース ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D モデルデータベース デルデータベースも8978モデルからなるものでLSB (Large Scale Benchmark)と呼ばれている。な も 8978 モデルからなるもので LSB (Large Scale Benchmark)と呼ばれている。なお、LSB には、我々 もも8978 8978 モデルからなるもので モデルからなるもので LSB LSB(Large (Large Scale Scale Benchmark)と呼ばれている。なお、LSB Benchmark)と呼ばれている。なお、LSB には、我々 には、我々 ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D も 8978 モデルからなるもので LSB (Large Scale Benchmark)と呼ばれている。なお、LSB には、我々 ケッチデータ（13,680 枚）が訓練データとして与えられる。このスケッチデータは 171 クラス（ベッ ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3Dモデルデータベ モデルデータ ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D モデルデータベース も 8978 モデルからなるもので LSB (Large Scale Benchmark)と呼ばれている。なお、LSB には、我々 6) もも 8978 も 8978 8978 モデルからなるもので モデルからなるもので モデルからなるもので LSB LSB LSB (Large (Large (Large Scale Scale Scale Benchmark)と呼ばれている。なお、LSB Benchmark)と呼ばれている。なお、LSB Benchmark)と呼ばれている。なお、LSB には、我々 には、我々 には、我々 も 8978 モデルからなるもので LSB (Large Scale には、我々 6)Benchmark)と呼ばれている。なお、LSB お、LSBには、我々が開発したToyohashi Shape Benchmarkのデータ を、オーガナイザからの要 が開発した Toyohashi Shape Benchmark のデータ を、オーガナイザからの要請により LSB の一部と 6) 6) 6) が開発した が開発した Toyohashi Shape Benchmark Benchmark のデータ のデータ を、オーガナイザからの要請により を、オーガナイザからの要請により LSB LSBの一部と の一部と 6) も 8978 モデルからなるもので LSB (Large Scale Benchmark)と呼ばれている。なお、LSB には、 が開発した Toyohashi Shape Benchmark のデータ LSB の一部と ド、椅子、ベンチ、本棚、キャビネットなど）種類に分かれており、対応する 3D モデルデータベース もShape 8978 モデルからなるもので LSB には、 も 8978Toyohashi モデルからなるもので LSB (Large Scale には、我々 6) Benchmark)と呼ばれている。なお、LSB 6) 6)を、オーガナイザからの要請により が開発した Toyohashi Shape Benchmark のデータ を、オーガナイザからの要請により LSB の一部と 6) (Large Scale Benchmark)と呼ばれている。なお、LSB が開発した が開発した が開発した Toyohashi Toyohashi Toyohashi Shape Shape Shape Benchmark Benchmark Benchmark のデータ のデータ のデータ を、オーガナイザからの要請により を、オーガナイザからの要請により を、オーガナイザからの要請により LSB LSB LSB の一部と の一部と の一部と が開発した Toyohashi Shape Benchmark のデータ を、オーガナイザからの要請により LSB の一部と 請によりLSBの一部として供与している。図5は、これらのデータの一部を表しており、上段がス して供与している。図 5 は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D モデ 6) して供与している。図 して供与している。図 5 5は、これらのデータの一部を表しており、上段がスケッチを、下段が は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D 3D モデ モデ 6) が開発した Toyohashi Shape Benchmark のデータ LSB して供与している。図 5 3D モデ も 8978 モデルからなるもので LSB (Large Scale Benchmark)と呼ばれている。なお、LSB には、我々 が開発した Toyohashi Shape Benchmark のデータ6)を、オーガナイザからの要請により を、オーガナイザからの要請により LSBの一 の一 が開発した Toyohashi Shape Benchmark のデータ を、オーガナイザからの要請により LSB の一部と して供与している。図 55 は、これらのデータの一部を表しており、上段がスケッチを、下段が は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D モデ して供与している。図 して供与している。図 して供与している。図 5 5は、これらのデータの一部を表しており、上段がスケッチを、下段が は、これらのデータの一部を表しており、上段がスケッチを、下段が は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D 3D モデ 3D モデ モデ ケッチを、下段が3Dモデルでスケッチと同じクラスと判断されるデータ例を示している。 して供与している。図 5 は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D モデ ルでスケッチと同じクラスと判断されるデータ例を示している。 6) ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 して供与している。図 55は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D ルでスケッチと同じクラスと判断されるデータ例を示している。 が開発した Toyohashi Benchmark のデータ を、オーガナイザからの要請により LSB の一部と して供与している。図 は、これらのデータの一部を表しており、上段がスケッチを、下段が 3 して供与している。図 5Shape は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D モデ ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 して供与している。図 5 は、これらのデータの一部を表しており、上段がスケッチを、下段が 3D モデ ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 ルでスケッチと同じクラスと判断されるデータ例を示している。 － 16 － 図 5 SHREC 2014スケッチからの3 Dモデル検索国際コンテスト （データの一部） 図 6 SHREC 2014スケッチからの3 Dモデル検索国際コンテスト （検索性能結果） LSBによるスケッチからの3Dモデルの検索結果は、図6のようになった。ここで、再現率・適合 率 グ ラ フ は、 グ ラ フ が 上 に あ れ ば あ る ほ ど 性 能 が い い こ と を 意 味 す る。 我 々 の チ ー ム 名 Tatsuma(SCMR-OPHOG)が検索性能グラフ（Recall-Precision: 再現率・適合率グラフ）で世界第一 位の性能を得ることができた 7)。 2.1.4 スケッチからの3Dモデル検索システム 前節までに述べた技術に基づき、本課題である生活環境シミュレーションを行うため、リビング ル ー ム に 通 常 見 ら れ る オ ブ ジ ェ ク ト の 3Dモ デ ル デ ー タ と し て、BAB (Bonn’s Architectural － 17 － Benchmark)8)を用いて、スケッチからの検索システムをWebアプリケーションとして構築した。 結 果は図7(A)～(F)に示すようである。内部的には,2.1.1で述べた世界最高性能を達成した特徴量を利 用している。 （A）システムの外観 （B）四角いテーブルの検索例 （C）丸いテーブルの検索例 （D）樹木（庭木用）の検索例 （E）平行 4 足背凭れ付き椅子検索例 （F）回転多脚肘掛背凭れ付き椅子検索例 図 7 「スケッチからの3 Dモデル検索システム」での検索事例。椅子を探す場合でも、スケッチの微妙な違いが出せ る精度を達成。 － 18 － 2.2 写真からの高精度な3D検索 スケッチと並び、ユーザインタフェースとして3Dモデル検索に好適な別手段として期待される のは、一枚の写真（たとえばデジカメやスマホのスナップ写真）を与え、被写体の3Dモデルを検索 する手法である。代表的な過去の類似研究には、フランスFOX-MIRE研究グループのAnsaryらの 手法 9)がある。Ansaryらは、写真と3Dモデルの特徴量を、Zernikeモーメント（49次元）を用いて表 現した。具体的には2Dの写真は、まず白黒画像に変換し、Cannyフィルタでエッジを抽出し、２ 値化する。この2値化されたエッジ画像の重心を求め、そこからZernikeモーメントを計算する。 一方、3Dモデルでは、320視点からのビュー投影画像を作成し、確率的な観察（ベイズ情報量基準） からクラスタリングを適用し代表的な40視点を選択する。それぞれの視点で投影面でのシルエッ ト画像を計算し、以降は2Dの写真と同様にZernikeモーメントを求め、これをデータベースに保持 する。Zernikeモーメントは回転不変という性質があるため、2Dの写真と3Dモデルの投影図の2D における輪郭が多少ずれていても、回転して一致すれば、類似する3Dモデルを検索できる。いわ ば、綺麗なスケッチを与えるインタフェースと考えることができる。しかし一方で、写真を白黒で 2値化するため、写真に本来含まれる情報が失われている。 そこで我々は写真に含まれる、陰影を活かす特徴量を考案し、高精度な検索精度を達成する手法 を開発した。当該技術について2種類以上の方法を開発した。これらを順に述べる。 2.2.1 ZernikeモーメントとHOGの複合特徴量による写真からの3Dモデル検索システム 最初に述べる方法は、Ansaryらの方法の利点を継承し、問題点を解決するものとして、特徴量 にシルエット画像に対応するZernikeモーメントだけでなく、深度バッファ法を適用し、これから HOG (Histogram of Oriented Gradients)特徴量 10)を加えた複合特徴量を用いる手法である。3Dモデ ル側での処理は図8に示すようである。 図 8 「写真からの3 Dモデル検索」での3 DモデルからのHOG+Zernike抽出 ここでのポイントは、奥行き情報を有する深度バッファ画像からHOG特徴量を抽出している点 である。HOG特徴量部分は、2.2.1で述べたOPHOGと同様の手法で特徴量計算と抽出を行う。2D の写真側では、まずグレイスケール画像に変換後、2値化した画像にZernikeモーメントを適用し、 － 19 － 多値データのほうにHOG特徴量を適用する。なお、HOG特徴量は局所的な位置に特有の情報を保 持できるという利点がある一方で、回転依存という問題点がある。そこで、2D画像側で、写真画 像を45度ずつ回転したものを鏡像の画像を含めて合計18画像から得られる特徴量で検索性能の向 上を目指した。検索精度に関しては、2.2.2以降でまとめて述べる。 2.2.2 フーリエスペクトルとSIFT-BoVWの複合特徴量による写真からの3Dモデル検索システム 第2の方法として、大域的な特徴量と局所的な特徴量を複合した特徴量を提案する。Ansaryらの 方法、および2.2.1で述べた方法に共通するのは回転不変なZernikeモーメント特徴量であった。し かし、経験的にZernikeモーメントは投影図が放射状になるような形状には頑強であるが、そうで ない形状の図形にはあまり有効でないことがわかっている。そこで、我々の特許技術である MFSD1)で用いた多重フーリエスペクトルの一部であるシルエット画像と輪郭画像のフーリエスペ クトルを大域的な特徴量として用いる。一方、写真では、しばしば視点位置であるカメラからフ ラッシュのような光源があり、物体表面で反射された光沢が写りこむことが多い。このような光沢 感はシルエットや輪郭では表現できず、また図8に示した深度バッファでも表現は困難である。そ こで、ランバートの余弦法則 11)として知られる物体表面の拡散反射を用い、データベース中の各 3Dモデルに対して複数方向からの「表面方向陰影画像」（FRS: Facing Ratio Shading）を導入する。 なお、BlinnモデルやTorrance-Sparrowモデル 11)として知られる鏡面反射成分を追加することも可 能であるが、光源方向と視線方向の相関関係の推定が必要であるため、ここでは視線に依存しない 拡散反射成分だけを考える。 図 9 「写真からの3 Dモデル検索」大域特徴量と局所特徴量の複合特徴量抽出 3Dモデルでの前処理の流れは、図9に示すようである。表面方向陰影画像(FRS)を計算したあと は、画像の局所特徴量として画像マッチングや画像検索によく利用されるSIFT (Scale Invariant Feature Transform) 特徴量とBoVW (Bag of Visual Word)による符号化 12)を用いた。ただし、通常 のSIFT特徴量では、FRSのようなレンダリングから得られる画像中の特徴点の数が非常に疎に なってしまうため密な特徴点が取れるように5ピクセル間隔でのDense SIFTを用いた。なお、 Dense SIFTでは通常、画像のすべてのサンプル点から特徴量を計算するが、FRSレンダリングで は、背景部分が明らかに特定できるため、背景に相当する部分の特徴点は棄却している。得られた － 20 － 特徴点全体に対してk-meansクラスタリング法を適用して、1000クラスターに分割し、元の特徴量 を1000個のビンを有するヒストグラム特徴量として符号化した。 一方、FRS画像と2Dの写真画像とをマッチさせるため、写真によく見られる光沢感やテクス チャ等によるノイズ効果を軽減する必要がある。このため、写真画像にIntrinsic Image技術 13)を適 用して、反射成分と陰影成分に分解することで、反射成分側にノイズ成分を取り込み隔離すること を考えた。 図 10 写真をIntrinsic Image技術で反射成分と陰影成分に分解 図10は、Intrinsic Image技術で写真を反射（Reflectance）成分と陰影（Shading）成分に分解した例 を示す。こうして得られた陰影成分を図9で示した、3Dモデルを表面方向陰影画像でレンダリング して得られる画像とマッチングすることで、検索精度向上を目指した。提案手法の有効性を確 か め る た め、PSB (Princeton Shape Benchmark) 14) を 用 い て 実 験 を 行 っ た。 PSBで は、907個 の 訓 練 デ ー タ と 別 の 907個のテストデータからなる。クエリ 側の写真データはインターネットの画 像検索サイトから収集し、Dining chair, Bench, Desk chairな ど 合 計 13 ク ラ ス、 各クラス10枚ずつ合計 130枚の写真で 3Dモデルの検索システムを構築し、検 索性能の評価を行った。比較手法とし ては、岩渕らの手法 15)（図11の破線）を実 装 し てRecall-Precision性 能 で 行 っ た。 結果として、Recallが低いところ、すな 図 11 提案手法と従来手法（岩渕らの手法） との検索精度 の比較 わち、一般的に検索結果の上位では高 性能を示した。代表的なクエリでの上 位10位までの結果は図12に示すようで ある。 － 21 － 図 12 写真から3 Dモデル検索事例（データベースはPSBを利用） 3．まとめ 本研究では、「SketchUpの3D ウェアハウス」に代表される建築物やインテリア等の3Dモデル データが、自由に豊富にある環境を想定し、「椅子」「テーブル」などの形状を高精度に検索できる 技術と検索インタフェースの開発を行った。住環境のシミュレーションでは、高精度なモデルで膨 大なデータベースから高速に検索できることが極めて重要であると考えている。具体的には、3D モデルを与えてデータベース中の形状が類似する3Dモデルを検索するのではなく、2Dのスケッチ や一枚の写真を手掛かりに、高精度に検索できる技術を開発した。2Dスケッチからの3Dモデル検 索では、OPHOG法と多様体ランキング法の組み合わせで、SHREC2014国際コンテストで世界最 高性能を達成することができた。一方、2D写真からの3D検索では、写真に特有のフラッシュなど の光からくる反射やテクスチャの影響を軽減する工夫を延べ従来手法と比較し好結果を得た。これ まで開発した技術は、機械学習の視点から分類すると教師なし学習手法であったが、今後は、深層 学習などで採用されているCNN (Convolutional Neural Network)等の教師あり学習を導入し、より 高精度な3Dモデル検索技術を開拓する予定である。 謝辞 本研究を遂行するにあたり、立間淳司助教、田代翔輝君をはじめ、豊橋技術科学大学 情報・知 能工学系 知識データ工学・情報検索研究室のメンバーに多大な協力をいただきました。ここに記 して深謝の意を表します。 参考文献 1）青野雅樹、立間淳司、関洋平、「三次元物体モデルを検索するための方法、コンピュータプロ － 22 － グラム及びシステム、及び、三次元物体を分類するための方法、コンピュータプログラム及 びシステム」、特許第5024767号（特願2008-543134）, 6月29日, 2012 2）B o Li, et al., SHREC’12 Track: Sketch-Based 3D Shape Retrieval, Eurographics Workshop on 3D Object Retrieval, 2012 3）Mathias Eitz, Ronald Richter, Tamy Boubekeur, Kristian Hildebrand, and Marc Alexa, Sketch-based shape retrieval, Journal of ACM Transactions on Graphics, Vol. 31, No.4, July, 2012 4）A tsushi Tatsuma and Masaki Aono, Multi-Fourier Spectra Descriptor and Augmentation with Spectral Clustering, Visual Computer, Springer, Vol.25, No.8, pp.785-804, 2009 5）SHREC2014 , Extended Large Scale Sketch-Based 3 D Shape Retrieval, NIST (National Institute of Standards and Technology) , http://www.itl.nist.gov/iad/vug/sharp/contest/2014/ SBR/index.html, 2014 6）Atsushi Tatsuma, Hitoshi Koyanagi, and Maski Aono, A Large-Scale Shape Benchmark for 3 D Object Retrieval: Toyohashi Shape Benchmark, Signal & Information Processing Association Annual Summit and Conference (APSIPA ASC), Los Angeles, USA, 2012 7）Bo Li, Y. Li, C.Li, A. Godil, T. Schreck, Masaki Aono, et al, A comparison of 3 D shape retrieval methods based on a large-scale benchmark supporting multimodal queries, Computer Vision and Image understanding, Elsevier, Vol.131, pp.1-27, 2015 8）Raoul Wessel, Ina Blumel, and Reinhard Klein, A 3 D Shape Benchmark for Retrieval and Automatic Classification of Architectural Data, Proc. Eurographics Workshop of 3D Object Retrieval, pp.53-56, 2009 9）Tarik Filali Ansary, Jean-Phillipe Vandeborre, Mohamed Daoudi, On 3 d retrieval from photos, IEEE Proc. Third International Symposium on 3D Data Processing, 2006 10）Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Human Detection, IEEE CS Conf. on Computer Vision and Pattern Recognition (CVPR’05), 2005 11）C G ARTS協会、「ビジュアル情報処理」、ISBN : 978-490665464, 2004 12）J an Erik Solem, 相川愛三訳、「実践 コンピュータビジョン」、ISBN: 978-4-87311-607-5, O’REILLY, 2013 13）S ean Bell, Kavita Bala, and Noah Snavely, Intrinsic Images in the Wild, ACM Transaction of Graphics, Vol. 33, No.4, July, 2014 14）Philip Shilane, Patrick Min, Michael Kazhdan, and Thomas FunkHouser, The Princeton Shape Benchmark, Proceedings of the Shape Modeling International (SMI’04), pp.167-178, 2004 15）岩 渕寛樹, 青野雅樹, 2次元画像を入力要求とした3次元モデル類似検索, 情報科学技術フォー ラム(FIT2011), 9月, 函館, 2011 － 23 －