Comments
Description
Transcript
修士論文 ÍËカメラを用いた医用画像重ね合わせシステム の試作と検証
修士論文 カメラを用いた医用画像重ね合わせシステム の試作と検証 岩田 倫明 年 月 日 奈良先端科学技術大学院大学 情報科学研究科 情報生命科学専攻 本論文は奈良先端科学技術大学院大学情報科学研究科に 修士 工学 授与の要件として提出した修士論文である。 岩田 倫明 審査委員： 湊 小太郎 教授 （主指導教員） 飯田 秀博 教授 （副指導教員） 金谷 重彦 教授 （副指導教員） 杉浦 忠男 助教授 （副指導教員） カメラを用いた医用画像重ね合わせシステム の試作と検証£ 岩田 倫明 内容梗概 核医学の撮像装置である ：陽電子断層撮 影装置 や ! ：単一光子放 射型コンピュータ断層撮影 は放射性薬剤を被験者に投与し，標識された薬剤か ら放出された放射線を検出して，体内の放射能分布の断層像を作り，人体におけ る薬物動態や代謝などの生理機能的情報得ることが出来る． 対して，"# "# ：核磁気共鳴断層撮影 は体内にお けるプロトン（水素原子核）から発生する電磁波を検出することにより断層像を 作り，主に体内の解剖学的情報を得ることができる． 近年，これらの画像診断技術は目覚しい発展を見せており，特に複数の画像診 断装置を用いた研究は多く研究されている分野の一つである。 本研究では，市販の $% カメラを使っての計測技術を用いて，医用画像重ね 合わせシステムの開発のため，マーカーのステレオ撮影を行い，その & 次元位置 の計算，医用画像の重ね合わせを自動的に行うシステムを構築し，安価な重ね合 わせシステムのプロトタイプを作成，システムの検証を行うことを目的とする． $% カメラを用いたシステムでは & 次元座標値を取得するために '( 法を用 いる，取得した & 次元座標を用いて，医用画像の変換行列を求めた．この変換行 列を用いて，医用画像を標準化された一つの座標系上に乗せ，重ね合わせを行う． 検証実験として，，"" の同一装置での重ね合わせ，" 奈良先端科学技術大学院大学 情報科学研究科 情報生命科学専攻 修士論文 年 月 日 の異なる装置での重ね合わせを心臓ファントムを使用して行った．またコンピュー タシミュレーションを行い，本システムの誤差評価を行った．精度に関しては改 善の余地が有るが，今後，精度改善を図ることで実用可能なシステムになりうる ことが示唆された． キーワード 医用画像) 重ね合わせ) ) " £ ! !*# + # !# !# ! !#! + !# , ! !#* !# ,!) - + !#* !, ! + ,!) ! , ! -# ,! ! + # + # ,./ 0 !) " - , !# ## ! ! + ! + ,!) ! , + ! + ,!/ !# # 1 -, !* # ) ! # 1 1 !*# + + #! 2!/ #) + !# !*! , # + 1 $% #/ - # + + -) # #! ## + ! ) ! # !# / - + # ) ! *+ / + ! !* + !# *# ! " ! "#$ %&!$ ! # $% #) - + # ) ! *+ / - # + + -) # #! ## + ! ) ! # !# / 1 $% # '( ! #3 ! #! * / + 4 + !# 1 3 ! , ! #!/ #! 1 !# 1 !!.! , + 4) ! * / 1 ! ,# + , ## , ## # * + 1 # + * + ## #/ 4#! , ! 1 1 -1!) ! + 1 # !# * !5 + , !5 !*#/ !!) * + * , !!. ! 1 + ! +) * # + ,1 ! 4#! , ! * + 1 2! +/ !# ) ) ) " * 目次 研究目的 & 新システムの試作 / / / / /& /8 研究背景 原理 / / / / / /& 「リファレンスマーカー」を用いた座標系の標準化 座標系の定義 変換行列 処理の流れ カメラを用いての & 次元計測法 /&/ '( 法 /&/ '( カメラ定数 /&/& '( 法を用いた & 次元座標再構成 本システムの仕様 /8/ /8/ ハードウエア部 ソフトウエア部 &/ 同一装置における重ね合わせ &/ / &/ / "" 異なる装置における重ね合わせ 評価方法 & 6 結果 8/ 6 7 8 6 6 9 検証実験 &/ &/& はじめに & 同一装置における重ね合わせ 8/ / 8/ / "" * 8/ 異なる装置における重ね合わせ & シミュレーション 考察 おわりに 謝辞 参考文献 * 図目次 & 8 6 9 7 & 8 6 9 7 & 8 6 9 9::'; を用いた 画像 光学式トラッキング装置 と赤外線反射マーカー リファレンスマーカーを用いた座標系の標準化 リファレンス座標系（左）とターゲット座標系（右） #! 処理の流れ 共線条件 における点の対応関係 $% カメラと非磁性体専用ジグ 非磁性体ジグ設計図 カメラキャリブレーション用ジグ（非磁性体） カメラ定数生成処理の入力画像 カメラ定数生成処理の流れ & 次元座標計算処理の入力画像 & 次元座標生成処理の流れ 変換行列計算処理の流れ 医用画像の変換処理の流れ 重ね合わせ実験の手順 心臓ファントム 心臓ファントムの画像 <冠状断面=（左） 画像（右）" 画像 装置（国立循環器病センター研究所に設置の >"） 撮像時の機器配置 " 撮像時の機器配置 ２回目スキャンと１回目スキャンの重ね合わせ前 ２回目スキャンと１回目スキャンの重ね合わせ（$%） ２回目スキャンと１回目スキャンの重ね合わせ（） # ⇒ # の重ね合わせの相関グラフ ３回目スキャンと１回目スキャンの重ね合わせ前 * 6 7 9 7 7 & & 8 8 9 9 7 7 & & & && &8 & &6 & &9 &7 8 8 8 8& 88 8 86 ３回目スキャンと１回目スキャンの重ね合わせ（$%） ３回目スキャンと１回目スキャンの重ね合わせ（） #& ⇒ # の重ね合わせの相関グラフ ２回目スキャンと１回目スキャンの重ね合わせ前 ２回目スキャンと１回目スキャンの重ね合わせ ２回目スキャンと１回目スキャンの重ね合わせ $% # ⇒ # の重ね合わせの相関グラフ ３回目スキャンと１回目スキャンの重ね合わせ前 ３回目スキャンと１回目スキャンの重ね合わせ ３回目スキャンと１回目スキャンの重ね合わせ $% #& ⇒ # の重ね合わせの相関グラフ " と の重ね合わせ前 " と の重ね合わせ（$%） " と の重ね合わせ（） シミュレーションによるカメラ画像上のキャリブレーション点 キャリブレーションジグとマーカーの位置 シミュレーションにおけるカメラの位置 リファレンスマーカー及びターゲットマーカーの認識誤差 * 7 7 & & & & & && && && &8 & & & & &9 &9 &7 表目次 & 8 6 # ⇒ # の重ね合わせの相関度 #& ⇒ # の重ね合わせの相関度 # ⇒ # の重ね合わせの相関度 #& ⇒ # の重ね合わせの相関度 " 重ね合わせにおける％ 0? 値 " 重ね合わせにおけるファントムの移動距離 リファレンスマーカー認識位置 #& 4 9 & & &8 &6 &6 8 はじめに 研究背景 核医学の撮像装置である ：陽電子断層撮 影装置 は放射性薬剤を被験者に投与し，標識された薬剤から放出される陽電子 が電子と結びつくことにより発生する，消滅γ線を検出器により検出して，体内 の放射能分布の断層像を作るものである．また ! ：単一光子放射型コンピュータ断層撮影 は体内に投与さ れた放射性薬剤から放出されるγ線をシンチレーションカメラにより検出し，こ れを方向を変えて行い，@ 線 と同じように計算処理をして断層像を作るもの であり，これらの断層像から，体内の薬剤分布を知ることができる．このことか ら，・ は人体における薬物動態や代謝などの生理機能的情報を非侵 襲的に得ることができ，その特性を生かして，心臓学や腫瘍学など広くの分野で 応用されている．特に， 9::'; の開発により，癌の早期発見，移転の有無を簡 便に検査できる方法が注目を浴びている． :'; は糖の一種であり，腫瘍に特に集積し やすいという特性を持つことから， で得 られた断層像において，腫瘍部位は正常部位 よりも高いカウントを示す 図 ことが知ら れている．対して，"# "# ：核磁気共鳴断層撮影 は静磁場中に 図 9::'; を用いた 画像 置かれた体内におけるプロトン（水素原子核） に電磁波を印加することによりに起こる核磁 気共鳴現象を利用して，プロトンから発生す る電磁波を検出することにより断層像を作るものである．また @ 線 装置は @ 線の透過度の違いを利用し，断層像を得ることで，" と共に，主に体内の解剖 学的情報を得ることが出来る． 近年，医用画像装置が目覚しい発展を見せており，様々な装置からそれぞれの 特色を持った医用画像が得られるようになっている．このように，生理機能的情 報を持つ画像と，解剖学的情報を持つ画像とが存在し，各々，診断する目的によっ て利用される．それらの異なる情報を持った医用画像を組み合わせることにより， 新たな知見，診断情報を得ようという研究が進んでいる．様々な情報を統一的な 枠組みで扱うことにより，標準化による評価制度の向上・診断情報の富裕化，同 じ治療での生理機能の変化を多施設間・多患者間で評価が可能となる．例えば， 生理機能的情報を持つ画像では，一見で腫瘍の有無の判断は出来るが，その腫瘍 が体内のどの部位にあるのか詳細に判断することは極めて困難である．そこで， 解剖学的情報を用いて，腫瘍がどの組織のどの部位に存在するかを詳細に決める ことは，治療計画を進めていく上で極めて重要となる．そこで，同一被験者から 得られた，生理機能的画像と解剖学的画像を重ね合わせることで，腫瘍の詳細な 解剖学的位置を特定することが出来れば，臨床に与える影響が大きいと言える． ところが， スキャナ， スキャナと " スキャナ，@ 線 スキャナ は，通常，異なる建屋に設置されており，それぞれのスキャナで被検者の撮像位 置が異なるため， 種類の画像位置あわせには困難を伴う． この位置合わせの既存技術 として，従来より生理機能的 画像と解剖学的画像をソフト 図 光学式トラッキング装置 ウェアを用いて自動的に重ね 合わせるアルゴリズムが提唱 されており，A: ,! AとA? ,! と赤外線反射マーカー Aが挙げられる．前者は，医用画像から得られる対象臓器の形状や，体 内外に取り付けたマーカーの位置を合わせることで位置合わせを実現し，後者は， : # を最大化することによって位置合わせを行い，例えば，医用画像 の情報量を用いて，相互情報量が最も大きくなるように対象領域の重ね合わせを 実現している．< = これら，ソフトウェアによる位置合わせは，画像の画質に大きく依存しており， 精度が対象としている部位や画質に依存する，画質や画像の種類によって結果が 異なる， : # のローカルミニマム等の問題がある．また近年，ハイブ リッド装置として 装置の開発も進んでいるが， 台あたりの単価が数億 円という高価なものであり，従来の装置を持っている施設にとっては，手の出に くい物となっている．そのため，国立循環器病センター研究所において，光学式 トラッキング装置 図 を利用した新しいマルチモダリティ画像重ね合わ せシステムが提案されている．<=<&= この装置により，体外マーカーの & 次元的な位置が正確に求められるため，ソ フトウェアのみを利用したシステムに比べ，精度よく，画質によらない結果を得 ることが出来，既存の撮像装置が利用可能なシステムを構築することが出来る． 同研究所では &" 装置と 装置をそれぞれ単独で持っており，重ね合わ せ技術を確立することが出来れば研究の幅が広がるという背景があった．もとも と， は体動補正を行うための道具として， 画像の質の向上のために 使われていたものであり，その動き補正の要素技術を使って " の重ね合 わせができないか，と考えられていたが，" の撮像環境の条件として ¯ &" が非常に強磁場であること ¯ ボアの奥行きが深いこと があり，そのため， ¯ " 装置の近くに設置できず， の有効視野内に " の撮像視野が 入らない ¯ 無理に近づけて，高価な が壊れでもしたら大変である ¯ 金属の塊を近づけることで，" 画像にアーチファクトがのる可能性 といった問題があった． 研究目的 上記の問題を解決するために代替の計測機器として $% カメラを使用するこ とにより， を用いたシステムと同様のシステムを開発することを目的とし & て，そのプロトタイプを試作し，検証を行った．具体的には， 画像と " 画像の重ね合わせを想定し，ハードウエアとしては非磁性体ジグの作成，ソフト ウエアとしては $% カメラによるリファレンスマーカー，及びターゲットマー カーの & 次元位置計算，医用画像の変換を自動的に行うプロトタイプシステムを 構築し，重ね合わせの検証を との比較，重ねた画像の相関度によって評 価したものである．本システムは を用いたシステムの問題に対して， ¯ カメラの配置の仕方で，" の撮像視野でも計測が可能である ¯ 市販の廉価なものであれば，大半の部品がプラスチックで " 装置に対し て，接近計測が可能でアーチファクトも出にくい ¯ 磁場の影響で壊れることがあっても，廉価なためあまり問題にならない といった利点が考えられる． 本論文は，まず第 でシステムの原理と処理の流れ，カメラを使った & 次元座 標の取得法を述べ，プロトタイプシステムの仕様について述べる．第 & 章では， 検証実験の方法についてを述べ，第 章では，精度シミュレーションについて述 べる．第 8 章では，実験の結果についてを述べる．第 6 章で，考察を行い，最後 に第 章で結論を述べ，本論文をまとめる． 8 新システムの試作 原理 重ね合わせのためには，異なる場所に置かれた撮像装置より得られる医用画像 を何らかの方法で同じ座標系の上に乗せる必要がある．そこで本システムでは， 各装置に取り付けられた「リファレンスマーカー」を介在者として異なる撮像装 置を一つの座標系に載せる．その一つの座標系に載せるために / /& のような変 換行列を用い，その変換行列を求めるために $% カメラで得られた画像に '( 法を適用することで & 次元座標を取得する． 「リファレンスマーカー」を用いた座標系の標準化 医用画像の重ねあわせを行うには， つ以上の画像の対応点を取り，何らかの 形で対応点の位置合わせを行う必要がある．そこで，外部計測による画質・画像 の種類によらない位置合わせの方法を以下に述べる． 重ね合わせのためには，異なる場所に置かれた撮像装置より得られる医用画像を 何らかの方法で同じ座標系の上に乗せる必要がある．そこで本システムでは，各 装置に取り付けられた「リファレンスマーカー」を介在者として異なる撮像装置 を一つの座標系に載せるものである． （図 &） 図 & リファレンスマーカーを用いた座標系の標準化 図 & に示す，リファレンスマーカーを装置に固定することで，青矢印のように 標準化された座標系の中心位置を常に捉えておくことが可能となる．また，同時 にターゲットマーカーの位置を計測することで，標準化された座標系のどこに対 象領域があるかを求めることが出来るので，座標系の中心を合わすことにより重 ね合わせが可能となる． 座標系の定義 本システムで使用される座標系の定義について述べる． / リファレンス座標系 リファレンスマーカーが持つ座標系 / ターゲット座標系 図 ターゲットマーカーが持つ座標系 8 リファレンス座標系（左）と ターゲット座標系（右） &/ $% カメラ座標系 $% カメラが持つ空間上に定義された & 次元座標系（原点・座標軸は '( キャ リブレーション法により任意に設定できる） 8/ スキャナ座標系 ・" 各スキャナで，撮像中心を原点とした & 次元座標系 6 図 #! 変換行列 スキャナ座標系上の点 ，それに対応する " スキャナ座標 とすると以下の関係式が成り立ち，式 中の → 系上の点 が 画像座標系から " 画像座標系への変換行列となる． ¼ ¼ ¼ ¼ ¼ ¼ B → ¼ ¼ 変換行列を求めるために，リファレンス座標系とスキャナ座標系の校正情報を を求める． （式中の は スキャナ座標系上の 用いて， → 点 ，に対応するリファレンス座標系上の点） B → さらに，$% カメラC'( 法で算出した，$% カメラ座標系における，ター ゲットマーカーの点 とそれに対応するターゲット座標系上の点 より以下の式中 を求める． B → & 最後に，$% カメラC'( 法で算出した，$% カメラ座標系における，リファ レンスマーカーの点 とそれに対応するターゲット座標系上の点 より を求め，その逆行列 を求める． B → B → 8 " スキャナにおいても，以上をを行う．その際 " 装置に取り付けられたリ ファレンス座標系上の点を， とし，それに対応した変換行列を → ¼ ¼ ¼ ¼ と → とする． ¼ 以上から， ¼ ¼ B → ¼ ¼ ¼ → ¼ → → を得ることが出来る． 9 → → 処理の流れ $% カメラを用いた医用画像重ね合わせシステムの処理の流れについて述べ る．本研究による医用画像重ね合わせシステムは図 6 に示すような処理の流れを 持つ． 図 6 処理の流れ 入力としてステレオ $% カメラより得られる画像，計算によって得られたキャ リブレーションデータとターゲットの & 次元座標値，変換行列を持つ．出力とし て，標準化されの座標系上の医用画像のモニターへの同時表示を持つ． 処理は / 撮像装置での撮像前に，$% カメラからステレオ画像データを取得 / 撮像装置による医用画像データの取得 &/ 検査前に撮っておいた，キャリブレーション画像から $% カメラのキャリ ブレーションデータを生成 8/ キャリブレーションデータを用いて，対象点の & 次元座標値の計算 7 / 計算した & 次元座標値から，医用画像の変換行列の生成 6/ 医用画像に対して前項の変換行列をかけ合わせ，画像を変換，表示モニタ に表示する． といった流れを持つ． カメラを用いての 次元計測法 を用いたシステムでは赤外線反射マーカーの追跡を行うことにより，& 次元座標の計測が可能であるが，$% カメラにおいて画像重ね合わせを行うため には，同等の機能を製作しなければならない．本研究で用いている $% カメラ は民生用のもので，カメラの詳細が明らかではない．そのため一般的な距離計測 法である，三角測量は必要なパラメータがわからず，& 次元計測が行えない．そ こで， 台の $% カメラを用いた & 次元座標計測には，カメラの詳細が明らかで なくとも，キャリブレーションによるパラメータで，姿勢情報などを定義でき，& 次元計測も行うことができる '( 法 <8= を用いる．以下に '( 法の詳細を記す． 法 '(（'# ( ）法はカメラ校正法の一つであり，& 次元座標 が既知である，6 点以上のコントロールポイントをカメラで撮影することにより， そのカメラの内部標定値（レンズ焦点距離）と外部標定値（カメラの姿勢）を計 算により求めるものである．'( 法がよりどころにしているのが共線条件であ る．共線条件とはカメラを用いて画像に記録するとき，実空間上に存在する点と 画像面との関係は図のようになることを用いる．図では つの座標系が定義され ており，,D## 座標系 @EF座標系 と 座標系 $?座標系 である．光学式カメラは実空間上に存在する点 0 を画像面上の点 にマッピング するものである．図のように点 0，， は一直線上に置かれ，この関係のことを 共線条件と呼ぶ．この共線条件から導かれた式が，共線条件式であり，以下の様 に導く． 図について， B B また，次の図からは 6 図 図 共線条件 9 における点の対応関係 B B が導かれる． ここで，点 は主点 # と呼ばれ，投影中心の点 より画像面に向 かって垂直に降ろした直線と，画像面との交点である．この直線に対して，平行 な軸 G を定義（画像面では常に GB である）し，画像面との距離 ! が主距離 # !# といい，測定焦点における投影中心と画面との距離となる． すると， （１）（２）を以下の式で表すことができる． B 9 しかし，ベクトル ，% はそれぞれ異なる座標系で示されるものなので，共通の 座標系に統一する必要がある．そこで，ベクトル を 座標系に変換 することを考えると， B → ¡ B ¡ 7 となり， → はベクトル を ,D## 座標系から 座標系に変 換するための変換行列である． 以上から， ¡ となり，以下の式か導かれる． B < C C = C C = B < B < C C = & この式を変形することにより得られる B B この式が共線条件式であり，'( 法の拠り所となる． カメラ定数 '( 法を用いた & 次元座標の再構成を述べる前に，まずカメラ定数についての 述べる．カメラ定数は先に述べた，6 点以上のコントロールポイントを撮影する ことにより得られる，内部標定，及び外部標定を含んだパラメータである． （６）式において，@，E，F について解きなおすと B B & となる．上式において， B B B B B B B B B B B B C C 8 8 を '( カメラ定数と呼び，実空間と画像面との対応付け であり，この ∼ を行うパラメータである． （７）式について， 個のカメラ定数について解くと， B B C C C C C C が得られる．この つの式に 6 つ以上のコントロールポイントの & 次元座標を代 入し連立方程式を解くと，パラメータを求めることが出来る．すなわち，以下の 行列式を解くことである． ½ ½ ½ ½ ½ ½ ½ ½ ½½ ½ ½ ½½ ½½ ½½ ¯ ½ ¾ ½¼ ½½ 法を用いた 次元座標再構成 前項によって求めた '( カメラ定数を使って，空間座標上の未知点の & 次元 座標を復元することが出来る． （８）式を @)E)F について解くと， C C C C B B この式に 枚以上の画像から得られた，未知点の画像面における 次元座標を代 入し連立方程式を解くと，& 次元座標を復元することが出来る．すなわち，下の 行列式を解くことである． /// /// /// ¯ B /// 9 ½½ 本システムの仕様 ハードウエア部 プロトタイプに用いた は，画像の入力，および変換行列の計算に用いた ものが 社製ノート型 であり，$ は /;>.， を % 搭載したものである．医用画像の入力，変換した医用画像の 生成，及び画像の表示に用いたものが ' 社製のデスクトップ型 であり，$ は 8 &/;>.， を ;% 搭載したもので ある． ?0 ! /;>. % ! #+ G!1 @ + ノート型 デスクトップ型 ' ' 98 8 &/;>. ;% "# "'0 @& 9% ! :! ディスプレイ ' &: また，画像の取得に使用した $% カメラは (# 社製のものであり仕様は 以下の通りである． !$ カメラ (# H# 8 ' ?; 68 × 89 画像センサー 有効画素数 6 フォーカス 6#∼∞ ジグ カメラ用ジグ カーボン製非磁性体 カメラ間 ∼& で可動 キャリブレーション用ジグ カーボン製非磁性体 この $% カメラを図 7 のように " 室内でも使用のできる非磁性体で作られた 専用ジグに取り付けて使用する． 図 7 $% カメラと非磁性体専用ジグ 図 非磁性体ジグ設計図 ソフトウエア部 本システムのソフトウェア部仕様とデータの流れについて述べる．本システム の処理部分は $% カメラ画像処理部，& 次元座標計算部，変換行列計算部，医用 画像の変換部に分かれる． / $% カメラ画像処理部 $% カメラ画像処理部はさらに，マーカー認識処理，カメラ定数生成処理， & 次元位置同定処理の & つに分かれる． マーカー認識処理 マーカー認識処理は，$% カメラで撮影した画像に対して，マーカー 部以外を手動でマスキングし，特徴抽出を行うことで半自動的にマー カーの認識を行い，その次に，重心計算を行う． , カメラ定数生成処理 カメラ定数生成処理は /&/ の '( カメラキャリブレーション法を用 いる．入力画像としてキャリブレーション用ジグ（図 ）を用いて， 6 点以上のコントロールポイントが映りこんでいる画像ファイル（図 ）を使用する． 図 カメラキャリブレーション用ジグ（非磁性体） 9 図 カメラ定数生成処理の入力画像 この画像にマーカー認識処理を行ってコントロールポイントを抽出し， その重心座標を求める．計算された 6 組以上の重心座標値を入力とし てカメラ定数算出を行う． （図 &） 図 & カメラ定数生成処理の流れ # & 次元位置同定処理 & 次元位置同定処理は，/&/& の '( 法を用いた & 次元座標再構成に よって計算される．入力として，前項で求めたカメラ定数，及びター ゲットマーカー，リファレンスマーカーが映りこんでいる画像ファイ ル（図 8）を使用する．この画像にマーカー認識処理を行って各マー カーを抽出し，その重心座標を求める．そして，計算された重心座標 （図 ） とカメラ定数を用いて，& 次元座標を計算により求める． 7 8 & 次元座標計算処理の入力画像 図 図 / & 次元座標生成処理の流れ 変換行列計算部 変換行列計算部は前項で求めた & 次元座標値を用いて，/ の剛体変換行列 の計算を行う． &/ 医用画像の変換部 医用画像の変換部は前項で求めた変換行列を画像データに掛け合わせるこ とで，標準化された座標系（/ / 参照）に乗った医用画像を求める．入力 する医用画像はすべて . 形式である． 図 図 6 変換行列計算処理の流れ 医用画像の変換処理の流れ また，$% カメラ画像処理部は #+ ? ! 6/ で 言語，及び 0;( を用いて実装し，変換行列計算部は を用いて既に実装されたも のを，医用画像の変換部は I* 言語にて既に実装されたものをそれぞれ用いた． 検証実験 同一装置における重ね合わせ まず，同一装置により得られた医用画像について重ね合わせ実験を行った．医 用画像を得るために用いた装置は， 装置，及び " 装置であり，それぞれ & 回の独立した撮像を行い，２回目，３回目に行ったスキャンの画像を１回目（以 降， 回目のスキャンを「スキャン１」，同様に２回目，３回目をそれぞれ「ス キャン２」「スキャン３」と表記する）のスキャン画像に重ね合わせる，という 形で画像の重ね合わせを行った． 撮像対象としては下の図 7 に示す心臓ファントムを用いる．この心臓ファント 図 9 重ね合わせ実験の手順 ムは「心臓部」と「肝臓上部」からなるファントムで，合わせて 装置，及 び " 装置から得られたスキャン画像を図 に示す． 図 図 7 心臓ファントム 心臓ファントムの画像 <冠状断面=（左） 画像（右）" 画像 各装置における撮像環境は以下のとおりである． %&% 撮像装置 社 >"（図 ） 撮像方法 # 撮像時間 分 & 画像サイズ 解像度 図 9 × 9 × 84 8/8 × 8/8 × &/ 装置（国立循環器病センター研究所に設置の >"） また，検証実験の際のカメラ，ファントム，撮像装置の位置関係は図 の通り である． 図 撮像時の機器配置 8 '(&'( 撮像装置 ; 社 & 撮像方法 G # 撮像時間 分 画像サイズ 解像度 6 × 6 × 4 &/ × &/ × &/ また，検証実験の際のカメラ，ファントム，撮像装置の位置関係は図 & の通りで ある． 図 & " 撮像時の機器配置 異なる装置における重ね合わせ つぎに，前項の同一装置での重ね合わせ実験時に得られた医用画像を用いて， 異なる装置における重ね合わせを行う． 評価方法 同一装置 重ね合わせ前画像， による重ね合わせ画像との比較を行う．比 較方法として，G ら <= による方法を用いて，# の画像に対して，位置合 わせを行った #，及び #& の画像を重ね合わせる前と $% カメラでの重ね 合わせ後， での重ね合わせ後で，画像の相関度を指標として用いる．この 相関度は，全く同じ画像であれば，最大値 / となる．従って， / に近いほど， 重ね合わせ精度がよいという指標となる． 異なる装置 重ね合わせる 画像，" 画像で 画像 " 画像J 画 像 を作成し， 画像のカウントのばらつき具合を指標とする．これは " 画 像における心臓領域のカウント値はほぼ一定であり， 画像でも心臓領域に当 たる部分はカウントがほぼ一定であるといえる．従って，正確に重ね合わせが出 来ていれば， 画像のカウント値はばらつきが小さいと言える．そこで， 画像全画素値の％ 0?（分散÷平均× ）を求め，その値が小さくなれば，ば らつきが少ない，すなわち画像がより重なっていると言える．また，変換行列か ら $% カメラと それぞれが認識したファントムの移動距離を比較する． 6 結果 同一装置における重ね合わせ %&% 図 図 8 ２回目スキャンと１回目スキャンの重ね合わせ前 ２回目スキャンと１回目スキャンの重ね合わせ（$%） 図 8 は重ね合わせ前の画像，図 が $% カメラで取得した三次元座標を基に 求めた変換座標によって，図 6 が によって取得した三次元座標を基に求 めた変換行列によって重ね合わせ後の画像である．この重ね合わせによる画像の 相関度は以下であった． （左上：重ね合わせ前，右上： による重ね合わせ， 下：$% カメラによる重ね合わせ） 図 6 ２回目スキャンと１回目スキャンの重ね合わせ（） 図 # ⇒ # の重ね合わせの相関グラフ 重ね合わせ前 /9&7 相関度 表 重ね合わせ $% 重ね合わせ /76 /76 # ⇒ # の重ね合わせの相関度 9 図 図 図 7 & 9 ３回目スキャンと１回目スキャンの重ね合わせ前 ３回目スキャンと１回目スキャンの重ね合わせ（$%） ３回目スキャンと１回目スキャンの重ね合わせ（） 同様に & 回目のスキャンの 画像を 回目のスキャンの 画像に，図 9 は重ね合わせ前の画像，図 7 が $% カメラで取得した三次元座標を基に求めた 7 変換座標によって，図 & が によって取得した三次元座標を基に求めた変 換行列によって重ね合わせ後の画像である．この重ね合わせによる画像の相関度 は以下であった． （左上：重ね合わせ前，右上： による重ね合わせ，下：$% カメラによる重ね合わせ） 図 & #& ⇒ # の重ね合わせの相関グラフ 重ね合わせ前 /79 相関度 表 重ね合わせ $% 重ね合わせ /9 /6 #& ⇒ # の重ね合わせの相関度 & '(&'( 図 図 & && ２回目スキャンと１回目スキャンの重ね合わせ 図 &8 ２回目スキャンと１回目スキャンの重ね合わせ前 ２回目スキャンと１回目スキャンの重ね合わせ $% 図 & は重ね合わせ前の画像，図 &8 が $% カメラで取得した三次元座標を基に 求めた変換座標によって，図 && が によって取得した三次元座標を基に求 & めた変換行列によって重ね合わせ後の画像である．この重ね合わせによる画像の 相関度は以下であった． （左上：重ね合わせ前，右上： による重ね合わせ， 下：$% カメラによる重ね合わせ） 図 & # ⇒ # の重ね合わせの相関グラフ 重ね合わせ前 /&7 相関度 表 重ね合わせ $% 重ね合わせ /7 /96 & # ⇒ # の重ね合わせの相関度 & 図 図 &6 & ３回目スキャンと１回目スキャンの重ね合わせ 図 &9 ３回目スキャンと１回目スキャンの重ね合わせ前 ３回目スキャンと１回目スキャンの重ね合わせ $% 同様に & 回目のスキャンの 画像を 回目のスキャンの 画像に，図 &6 は重ね合わせ前の画像，図 &9 が $% カメラで取得した三次元座標を基に求めた 変換座標によって，図 & が によって取得した三次元座標を基に求めた変 && 換行列によって重ね合わせ後の画像である．この重ね合わせによる画像の相関度 は以下であった． （左上：重ね合わせ前，右上： による重ね合わせ，下：$% カメラによる重ね合わせ） 図 &7 #& ⇒ # の重ね合わせの相関グラフ 重ね合わせ前 /8 相関度 表 重ね合わせ $% 重ね合わせ /7 /66 8 #& ⇒ # の重ね合わせの相関度 &8 異なる装置における重ね合わせ 次に異なる装置間での重ね合わせを行った．今回は前項で使用した同一装置 での画像を用い， 画像と " 画像について変換を行った． 図 図 図 8 " と の重ね合わせ前 8 " と の重ね合わせ（$%） 8 " と の重ね合わせ（） & つぎに，重ね合わせ前と $% カメラを用いた重ね合わせ画像での％ 0? 値を 表 に示す． 表 " 重ね合わせにおける％ 0? 値 次に， と $% カメラが認識したファントムの移動距離を表 6 に示す． 表 6 " 重ね合わせにおけるファントムの移動距離 &6 シミュレーション 次に，マーカーの認識精度が，実際の系においてどれほどになるのかをコン ピュータシミュレーションによって検証するために，シミュレーションプログラ ムを実装し，シミュレーションを行った．このシミュレーションは，以下の手順 で行う． / カメラ，キャリブレーション点，リファレンス，ターゲットの各マーカーを & 次元空間上に定義する． / / がカメラ画像に写る点を直線と平面の交点を求めることで計算（図 8&） &/ 4 の偏差で ) で求めた，リファレンス，ターゲットの各マーカーの点 を変動させ B ，& 次元位置を復元する． 図 8& シミュレーションによるカメラ画像上のキャリブレーション点 今回は，マーカーの位置は " 撮像時のものを再現し，リファレンスマーカー は，キャリブレーションジグから，左 ，上 &，手前 の位置 になる（図 88）．また，カメラの位置については & 通りに位置を定義し（図 8）， B における，各マーカー 8 点の真の位置からの誤差平均を求めた． & 図 88 図 8 キャリブレーションジグとマーカーの位置 シミュレーションにおけるカメラの位置 &9 図 86 リファレンスマーカー及びターゲットマーカーの認識誤差 シミュレーションの結果を図 86 に示す．以上の結果から，キャリブレーション ジグで定義した 6 点から大きく離れた点では，正確に & 次元位置を復元できない ことがシミュレーションでも示され，ジグに近い点では，精度よく点が復元され ている．また，カメラの距離が対象から離れるにつれ，精度が悪くなることが確 認できた． &7 考察 今回の実験の結果，図 8∼& が示すように， 装置同士の重ね合わせは視 覚的に重ね合わせが出来ており，相関度も高く，良好な結果を得ることが出来た と考える．ただし，図 & ，表 ，6 の 装置の #& はファントムを持ち上 げる際に台として金属を置いたため，カウントが他の つと異なり，相関係数や 0? 値が不良となった．一方，"" の重ね合わせについては， ほど の精度ではないが，比較的良好な重ね合わせが出来た．" でも，重ね合わ せ前よりは 0? 値の向上は見られるが画像のズレが大きかった．そこで，#& において， が認識しているリファレンス，ターゲット両マーカー位置と， $% カメラが認識しているマーカー位置の比較を行ったところ，リファレンス マーカーの認識位置に大きなズレが生じていた． （ 表 ） $% カメラ @ /9 9 7&/89 E 9/88 /7 F 8& / 6/ 9 表 リファレンスマーカー認識位置 #& このような誤差は，$% カメラが とは異なり画像を用いており，リファ レンスマーカーの位置が '( 法のためのキャリブレーションジグから離れてい たため，認識位置にズレが生じたと考えられる．このように，キャリブレーショ ンジグから離れるほど精度が悪化することは，シミュレーションによっても示唆 されている． 本システムの精度をさらに向上させるためには，以下のような方策が考えら れる． ¯ カメラの性能，例えば有効画素数の多いセンサーに変える 8 ¯ マーカーとカメラの位置，キャリブレーションジグの配置の最適化を図る ¯ 計測するカメラを & つ以上に増やす などが考えられる．本システムは，全く位置合わせが出来ていないというわけで はなく，細かい精度まで評価することが可能になることがうかがえ，決して無理 なシステムではないことが示されたと考える．今後はシミュレーションを行う環 境を構築することで，マーカー配置やキャリブレーションの行い方を最適化し， 精度の改善を図る必要がある． 8 おわりに 本論文では，$% カメラによる医用画像のための重ね合わせシステムの原理を 述べ，それを実現するためのプロトタイプシステムを作成して，その検証を行っ た．また，コンピュータシミュレーションを行い，マーカーの認識精度の評価を 行った． 本システムの実用化のためには，カメラ性能の向上，キャリブレーションジグ やマーカー配置の最適化が必須であり，今後の更なる研究が必要である．また， このシステムは ¯ 将来的に撮像装置そのものに $% カメラを取り付ければ，リファレンス マーカーの必要も無くなり，設置時のキャリブレーションのみで，重ね合 わせが可能となる． ¯ 重ね合わせ対象の特徴抽出が出来れば，その特徴情報を用いることで，ター ゲットマーカーの必要も無くなる． ¯ 座標情報の管理と，カメラさえ取り付ければ，あとは重ね合わせ処理を行 うソフトウェアがあればよい． （レジストレーション自体は +1%! ではない） ¯ 取得した重ね合わせ情報を医療情報として標準化し，統一的な枠組みの中 で画像とセットで保管し，扱うことにより，この重ね合わせ情報を持った 画像であれば，医療機関，装置を問わない画像の重ね合わせが可能となる． ¯ このシステムに動画像を適用することが出来れば，" のボア内で体動補 正することが可能になるのではないかといった期待が持てる といった，発展も期待できると考える． 8 謝辞 本研究を進めるにあたり，あらゆる面でご指導いただき，支えて下さった皆 様に心から感謝と御礼を申し上げます． 奈良先端科学技術大学院大学 情報科学研究科 湊小太郎教授には入学当初から 無理を聞いていただき，また研究活動においても様々なご助言とご指導を頂き， 深く感謝いたします． また，奈良先端科学技術大学院大学 情報科学研究科 金谷重彦教授には修士 論文作成にあたり，審査委員として貴重なご意見を頂き，深く感謝いたしており ます． 奈良先端科学技術大学院大学 情報科学研究科 杉浦忠男助教授，佐藤哲大助 手，中尾恵助手にはセミナーでの発表などを通して，研究に対するご指導を，ま た研究に対する姿勢や考え方のご助言を頂き，深く感謝いたします． 常に気をかけて下さり，的確なご指導を頂きました，国立循環器病センター研 究所 先進医工学センター 放射線医学部 飯田秀博教授に深く御礼申し上げま す． 本研究の遂行，論文作成にあたって，国立循環器病センター研究所 先進医工 学センター 放射線医学部 渡部浩司助教授には最後の最後までご迷惑をおかけ しました．本研究に関して様々な相談に乗っていただき，また議論を重ねて頂き， 渡部助教授の存在なしにはこの論文の完成を見ることは無かったものであります． 深く御礼を申し上げます． 実験の際には，越野一博さん，山本明秀さんに長時間にわたり付き合っていた だき，深く御礼を申し上げます． 最後の最後まで深夜を共にした，放射線機器学 松原佳亮さん，お互いお疲れ様 でした．最後に，奈良先端科学技術大学院大学 情報科学研究科 生命機能計測 学分野の皆さんには私生活において広くお付き合いいただき，国立循環器病セン ター研究所 先進医工学センター 放射線医学部の皆さんにも大変お世話になり ました． 私を支えて下さった，皆々様，本当にありがとうございました． 8& 参考文献 < = I/ -/ +1 # # 1 # +/ ) ?/ 8) / ) / &6K8) I 8/ <= L L) G, >) E ) >) ! ! >/ '* + ,1 ! " # #- / ) ?/ ) / 897) I 6/ <&= 越野一博) 渡部浩司) 山本明秀) 佐藤博司) 飯田秀博/ 光学式トラッキング装 置を用いた " 画像重ね合わせシステムの開発/ 第 86 回日本核医学会 学術総会) ?/ ) / &) / ) * 6/ <8= ,!.. E// ! L >// '# + + # #! ,D# # #! # / #! + " ) / K 9/ # # + ) 7 / <= L G) > G,) E ) L L) -) /%2!) ! >! !/ ,! ## + # #- ! ! ! #3 / ) ?/ ) / &) / 9K99) I 8/ <6= %,- / !-) # % ) % :/ > ) 1 L) ! >! !/ + # ! / ) ?/ 7) / 8) / 6 K6&) I 77/ <= "D -) ?*- G,) ! / ! &! # + 1,! ! + #,! #/ 88 ) ?/ 86) / 7) / 899K 876) / <9= / % # / ; ! / , * #- + !# M >!1 / ) ?/ ) / ) / 99K 78) 0# / <7= 佐藤清秀) 山本裕之) 田村秀行/ 現実空間と仮想現実の位置あわせ手法ステ レオカメラと & 次元センサの組み合わせ/ / K ) 779/ < = % -) ?!) ! # #/ ## #) !-,!) ,4 * !/ ?/ 9 + ) / 8K7/ " ) / < = 遠藤真広/ 医療最前線で活躍する物理/ ポピュラー・サイエンス &9/ 裳華房) 779/ < = G! / / < &= ゲーム開発のための数学・物理学入門/ 林武文) 加藤清敬/ &/ +,- *) 0;( による & 次元 ; プログラミング/ 8 コロナ社)