Comments
Description
Transcript
T - 画像解析学 - Osaka University
大阪大学臨床医工学融合研究教育センター 医工学専攻修士課程「画像医学」 医用画像解析と手術支援 大阪大学 大学院医学系研究科 医用工学講座 画像解析学 [email protected]‐u.ac.jp 佐藤嘉伸 アウトライン • 人体内部の立体再構築 • 手術ナビゲーション • ソフトウェアプラットフォーム • 将来の方向 – （各個体にモーフィング可能な）汎化人体アトラス – スーパービジョンからスーパーブレインへ 1 医用画像解析 人体内部の立体再構築 人体内部の立体再構築 人体内部構造 ３次元画像の獲得 2 人体の３次元スキャン：CTスキャナ データ次元 スキャナ・カメラ ２次元 CTスキャナ ３次元 撮影対象 濃淡情報の物理意味 印刷物，人物，物体 表面の反射光強度 表面 人体，（工業製品） 内部構造のX線減弱係数 内部構造 ガントリー X線ビーム CT装置のスキャン時間と画像解像度 大阪大学病院における腹部CT撮影の場合 1994年 断層像連続取得 スライス厚 5 mm 撮影速度 1枚／ 0.5秒 キャ 時間 20秒 秒 撮影 スキャン時間 3 CT装置のスキャン時間と画像解像度 大阪大学病院における腹部CT撮影の場合 1994年 断層像連続取得 キャ 時間 20秒 秒 撮影 スキャン時間 1998年 ４断層像同時取得 スライス厚 5 mm 撮影速度 1枚／0.5秒 スライス厚 2.5 mm 撮影速度 4枚／0.5秒 撮影 スキャン時間 10秒 CT装置のスキャン時間と画像解像度 大阪大学病院における腹部CT撮影の場合 1994年 断層像連続取得 キャ 時間 20秒 秒 撮影 スキャン時間 1999年 ４断層像同時連続取得 スライス厚 5 mm 撮影速度 1枚／0.5秒 スライス厚 2.5 mm 撮影速度 4枚／0.5秒 撮影 スキャン時間 10秒 2005年 ６４断層像同時連続取得 スライス厚 0.625 mm 撮影速度64枚／0.25秒 撮影 スキャン時間 3秒 4 CT装置のスキャン時間と画像解像度 大阪大学病院における腹部CT撮影の場合 １スキャンあたり のデータ量 注：実際は１回のCT検査で，異なる 条件（造影剤による血流循環時相） において，３∼４スキャンを行う． 80MB 20MB 10MB 1994年 1999年 ボクセル形状 （ボクセル＝ ピクセルの ３次元版） 2005年 20??年 0.6×0.6×0.6 mm3 立方体ボクセル 0.6×0.6×2.5 mm3 0.6×0.6×5.0 mm3 CTデータの可視化 ＣＴスキャナ グラフィックスマシン（と いってもハードウェアは 普通のPC） ３次元医用画像データ ３次元可視化 5 ボリュームレンダリングによる CTデータの３次元可視化 １つ１つの画素を半透明の色付 きゼリーとみなし、グラフィック ス表示を行う ス表示を行う。 ボリュームレンダリング CT画像 色・透明度変換テーブル （伝達関数） 画素値（ＣＴ値） 骨 皮膚 軟部組織 空気 色 透明度 不透明 半透明 透明 撮影範囲 6 ３次元医用画像の例 ︵株︶ ＡＡＺＥ提供 撮影範囲 心臓 7 ４次元医用画像の例 ︵株︶︶ ＡＺＥ提供 ボリュームレンダリング実演 • 実際に，ボリュームレンダリングソフトのデ モを行う． モを行う • 使用ソフトウェア： Virtual Place / Medical Medical Viewer Tool Kit （本研究室の学生のグルー プが開発し，ベンチャー企業を立上げ，商 品化した．） 8 人体内部の立体再構築 ３次元画像から ３次元 地図 の作成 航空写真 地図 9 地図 画像表示と画像認識 白黒階調を色に変換 画像表示（航空写真） 色 画素値 画像認識（地図） 各組織を認識 各組織を認識し 色分けして表示 色 肝臓 腫瘍 門脈 静脈 10 認識の必要性 • 肝臓領域の認識 – 肝臓の体積（肝臓機能を表す１つの指標）を計測 できる。 – 肝臓切除の手術計画・シミュレーションを行える。 肝臓切除の手術計画・シミュレーションを行える • 血管の認識 – 血管形状の異常度（幅が細くなるなど）を数値化 できる。 – 血管に基づく手術計画を立案できる（血管内にカ テーテルと呼ばれる管を挿入して行う手術の経 路計画など）。 路計画など） – 血管に基づき、肝臓内の支配領域図を作成でき る。 • 腫瘍の認識 – 腫瘍の大きさを数値化できる。 – 医師が見落とすかもしれない腫瘍を提示できる。 人体内部の立体再構築 医用画像からの臓器領域抽出 （セグメンテーション） の基礎と実際 11 肝臓CT画像の認識・立体再構築 多時相ＣＴ画像 多時相ＣＴ画像の 自動変形補正 （条件を変えて２回CT撮影する） 通常撮影 強調撮影 In collaboration with Dr. Masumoto and Dr. Hori 肝臓CT画像の認識・立体再構築 ２時相（異なる造影効果）のＣＴ値（画素値）の利用 ２時相ＣＴ値空間の結合ヒストグラム 肝臓に対応する CT値分布 CT 値分布 脾臓、腎臓など （造影効果） 関心領域 強調撮影画素値（ （CT値） 認識結果 肝臓らしさ 肝臓 関心領域内 ガウス関数による 確率分布近似 脂肪 通常撮影画素値（CT値） ２次元結合ヒストグラム：明るさを頻度に 対応させて表示している。 12 尤度（肝臓らしさ）画像 • 各画素（ボクセル）において – 肝臓ＣＴ値の確率分布 P(X|A=Liver): ガウス関数により近似 (X: CT値, A: 組織属性) – 尤度関数 L(Liver|X) ∝ L(Li |X) P(X|A=Liver) P(X|A Li ) 尤度関数 L(Liver|X) ∝ P(X|A=Liver) ＣＴ画像 尤度 肝臓ＣＴ値 尤度画像 （肝臓らしさ） 肝臓CT画像の認識・立体再構築 多時相ＣＴ画像から の肝臓組織の認識 血管の３次元構造復元 およびと血管種別の認識 肝臓内部構造の認識 In collaboration with Dr. Masumoto and Dr. Hori 13 肝臓CT画像の認識・立体再構築 フジテレビニュースジャパンで放映 In collaboration with Dr. Masumoto and Dr. Hori アトラスに基づくセグメンテーション ３次元アトラス （単一個体データよ り生成：各個体データ 解析への適用困難） 統計的アトラス （個体群データよ り生成：各個体 + 患者ＣＴ画像 = 患者固有の臓 器形状モデル データ解析に適用 可能） 赤点 ：ＣＴ画像から動的 に検出されたエッジ点 Voxel Man 14 背景 • 従来法の問題点 – 腫瘍などの病変のある場合→病変部がうまく抽出できな い – 病気で変形が大きい場合→細部がうまく抽出できない 病気で変形が大き 場合→細部がうまく抽出できな – これが処理できることが重要 • 対象臓器の事前知識を利用して対処しようという試 み 従来法 正常な肝臓の場合 背景 • 従来法の問題点 – 腫瘍などの病変のある場合→病変部がうまく抽出できな い – 病気で変形が大きい場合→細部がうまく抽出できない 病気で変形が大き 場合→細部がうまく抽出できな – これが処理できることが重要 • 対象臓器の事前知識を利用して対処しようという試 み 腫瘍 事前知識 を利用 従来法 病変がある肝臓の場合 15 存在確率地図 (Probabilistic Atlas) • 各画素の位置に肝臓が存在する確率を画素値とした画像 • 各画素の位置と濃淡値に関する制約条件を利用 利点：存在しえない位置に領域が抽出されるのを防ぐ。 欠点 病変による濃淡値変化の影響を排除しきれない 欠点：病変による濃淡値変化の影響を排除しきれない。 画像加算 低← →高 処理例 存在確率地図画像 学習データ Xiangrong Zhou et al. “Constructing a Probabilistic Model for Automated Liver Region Segmentation Using Non‐Contrast X‐Ray Torso CT Images” MICCAI 2006 存在確率地図とＣＴ値に基づく合成尤度 • 各画素（ボクセル）において – 肝臓ＣＴ値の確率分布 P(X|A=Liver): ガウス関数により近 似 (X: CT値, A: 組織属性) – ＣＴ値尤度関数 L(Liver|X) ∝ P(X|A=Liver) – その画素位置での存在確率P(Liver)との合成尤度 L’(Liver|X) = P(Liver) L(Liver|X) 合成尤度 画像 × ＣＴ画像 尤度画像 存在確率地図 （肝臓らしさ） 16 統計的形状モデル (Statistical Shape Model) • 対象形状の主成分分析により得られるパラメトリックモデル • 肝臓形状固有の制約条件を利用 利点：病変で欠けた部分を矯正することが可能 欠点：細部の近似精度の不足のため病気による変形に弱い。 欠点：細部の近似精度の不足のため病気による変形に弱い 主成分分析 単階層モデル M (b ) = q + Φb 処理例 平均形状 変形成分 パラメータ 学習データ H. Lamecker 他 Segmentation of the Liver using a 3D Statistical Shape Model” ZIB Technical Report 2004 多階層統計的形状モデル • • • • 単階層モデルを階層的に分割して主成分分析 肝臓形状固有の制約条件と詳細な形状表現の両立 利点：単階層モデルの利点に加えて，細部への高い近似精度 領域間の整合性の問題 整合性を維持する為の制約項を導入 領域間の整合性の問題→整合性を維持する為の制約項を導入 レベル0 分割 主成分分析 多階層モデル レベル1 i = 1,2,3,4 レベル2 i = 1,K ,16 再分割 M hi (b hi ) = qhi + Φ hi b hi qhi : 平均形状 Φhi: 変形成分 h : 階層化レベル i : 領域番号 岡田 俊之 他 「多階層統計的形状モデルにおける 安定化項の有効性の検証」 信学技報 2007 17 多階層統計モデル提案の動機と目的 • 動機 – 単階層モデルでは近似精度が不足 – 近似精度を高めた多階層モデルが本研究室で開 発され 発されている る – 多階層モデルを用いた領域抽出の本格的な研究 は行われていない • 目的 – 多階層モデルを領域抽出に用いることにより， • 病変による濃淡値の変化 • 病気による大きな変形 – に対処し，抽出精度を改善することを目指す 統計アトラスに基づくセグメンテーションの概要 • 存在確率地図法で得られた結果を多階層モデルで精密化 • 濃淡値だけでなく位置・形状に関する制約条件を利用しつつ，高 い形状表現能力を実現 存在確率地図法による初期領域抽出 濃淡値と位置に関する制約条件を利用 単階層モデルでモデルパラメータの初期値を推定 形状に関する制約条件を利用 初期値の推定 モデルの分割 多階層モデルで結果を精密化 実際の肝臓形状の詳細を表現 結果の改良 18 処理手順 3次元CT画像 表面点(画像エッジ) 抽出 白：抽出結果 緑：統計的形状モデル 存在確率地図法 による抽出 抽出結果にモデル当てはめ 表面点 表面点にモデル当てはめ 表面点抽出とモデル 当てはめを繰り返す C (b ) = C D + λC I → min 最終結果 モデルと表面点の距離 整合性制約項 評価実験 • 実験目的 – 存在確率地図法との精度比較 – 単階層モデルとの精度比較 • 実験データ48例 実験デ タ 例 – 3次元腹部CT画像(サイズ512x512x159) – 評価用8例，学習用40例 – モデル分割：右図，4×4＝16分割 • 誤差の定義 – 手作業で抽出した正解形状と抽出結果の表面間の平均 距離 • 処理は全自動 – 各データごとにパラメータの手動調節はなし 19 実験1：存在確率地図法との比較 • ほとんどのデータで存在確率地図法を上回る結果 – 存在確率地図法 – 本手法 平均誤差2.58 mm 平均誤差1.82 mm • 特に大きな病変と変形のあるデータで大きな効果 特に大きな病変と変形のあるデ タで大きな効果 が見られた 誤 差 (mm) 4 3.5 3 2.5 2 存在確率地図法 本手法 1.5 1 1 2 3 4 5 6 7 8 平均 データ番号 大きな病変と変形のあるデータ 実験1：存在確率地図法との比較 • ほとんどのデータで存在確率地図法を上回る結果 – 存在確率地図法 – 本手法 平均誤差2.58 mm 平均誤差1.82 mm • 特に大きな病変と変形のあるデ 特に大きな病変と変形のあるデータで大きな効果 タで大きな効果 が見られた 存在確率地図法 本手法 平均誤差3.71mm 平均誤差2.35mm 20 実験1：存在確率地図法との比較 • ほとんどのデータで存在確率地図法を上回る結果 – 存在確率地図法 – 本手法 平均誤差2.58 mm 平均誤差1.82 mm • 特に大きな病変と変形のあるデ 特に大きな病変と変形のあるデータで大きな効果 タで大きな効果 が見られた 存在確率地図法 本手法 平均誤差3.71mm 平均誤差2.35mm 実験2：単階層モデルとの比較 • 全てのデータで単階層モデルを上回る結果 – 単階層モデル 平均誤差2.29 mm – 本手法 平均誤差1.82 mm • 特に大きな腫瘍と変形のあるデータで大きな効果が 特 大きな腫瘍 変形 あるデ タ 大きな効果 見られた 4 単階層モデル 本手法 誤 差 (mm) 3.5 3 2.5 2 1.5 1 1 2 3 4 5 6 7 8 平均 データ番号 大きな腫瘍と変形のあるデータ 21 実験2：単階層モデルとの比較 • 全てのデータで単階層モデルを上回る結果 – 単階層モデル 平均誤差2.29 mm – 本手法 平均誤差1.82 mm • 特に大きな腫瘍と変形のあるデータで大きな効果が 見られた 単階層モデル 本手法 平均誤差3.71mm 平均誤差2.35mm 実験2：単階層モデルとの比較 • 全てのデータで単階層モデルを上回る結果 – 単階層モデル 平均誤差2.29 mm – 本手法 平均誤差1.82 mm • 特に大きな腫瘍と変形のあるデータで大きな効果が 見られた 単階層モデル 本手法 平均誤差3.71mm 平均誤差2.35mm 22 アトラスに基づくセグメンテーション まとめ • 存在確率地図法の結果を初期値として多階層モデル を適用し，肝臓の位置・形状に関する事前知識を活用 した肝臓領域抽出アルゴリズムを開発した • 大きな病変や変形のあるデータに対しても従来法より 高い精度で抽出できた – 従来法(存在確率地図法) 平均誤差2.5 mm – 従来法(単階層モデル)平均誤差2.2 mm – 本手法(多階層モデル)平均誤差1.8 mm • 今後の課題 – 階層化における分割方法の再検討 – 大規模な評価実験 – 他の臓器への適用 セグメンテーション手法の数理的解釈（１／２） • 各画素のＣＴ値による領域抽出： – 対象領域Aの各画素の値Xがとりうる確率分布P(X|A=target)をあ らかじめ求めておき、その確率分布から各画素が対象領域に属 する可能性を表す尺度である、尤度L(target|X)∝P(X|A=target)を 計算し、尤度の値に基づいて対象領域に属するか否かを決定す る。 • 存在確率地図を組み込んだ領域抽出： – 対象領域Aの各画素の位置において、存在確率地図の確率値 P(A=target)が与えられる。ＣＴ値に基づく尤度L(target|X)とその確 率値の積P(A=target)L(target|X)が、ＣＴ値と位置の両方に基づき 合成尤度L’(target|X)となる。合成尤度の値に基づいて対象領域 に属するか否かを決定する。これば、ベイズ推定における、事後 確率P(A|X)∝P(A)P(X|A)に比例する尺度である。 23 セグメンテーション手法の数理的解釈（２／２） • 統計的形状モデルによる形状復元 – あらゆる形状を表現する形状全体の空間に対して、対象形状の とりうる部分空間およびその確率分布を、ガウス関数で近似し、 とりうる形状をその部分空間に限り、最尤推定の原理により形状 推定を行う。 N 個の形状データにより構成される (N‐1)次元形状空間 個体群データ 統計的形状モデル ……………………. 人体内部の立体再構築 医用画像からの線状・面状構造 抽出の基礎と実際 ヘッセ行列に基づく 多重解像度３次元画像解析 24 ヘッセ行列に基づく多重解像度３次元画像解析 処理対象： ２次局所構造 線状構造 （血管，気管支） 塊状構造 （腫瘤） 肺血管（線）と腫瘤（塊） 面状構造 （皮質・軟骨） 股関節軟骨（面） 体内には，線状，面状，塊状を呈する重要な構造・組織が多い． これらの構造において，特に，細い／薄い部分では，解像度限界，雑音の影響を受け やすい． ヘッセ行列に基づく多重解像度３次元画像解析 論的基礎 理論的基礎 線状構造 面状構造 塊状構造 （腫瘤） （血管，気管支） （皮質・軟骨） 25 ３次元画像とは？ • ３次元連続関数 I(x,y,z) を立方格子で標本化したデータ集合で あり、３次元配列データとして表現される。 y y 標本化格子 I(x,y,z) x x 標本化定理により、適切に帯域制限されていれば、３次元配 列データから、元の連続関数 I(x,y,z) を復元できる。 ３次元画像のヘッセ行列固有値解析 • ある注目点のヘッセ行列は、その注目点近傍の局所濃淡構造 の２次成分に関する全情報が含まれている。固有値解析によ り回転不変な２次局所構造を抽出できる。 I(xx) ３次元画像の濃淡値関数 （x x = (x, y, z)） における注目点 布は、テーラー展開 テーラー展開により以下の３次元連続関数で近似できる。 x0近傍の濃淡値分 I(xx) = I(xx0) + (xx−xx0)∇I0 + (1/2)(xx−xx0)∇2I0 (xx−xx0) x0での濃淡値 ⎡ I xx ⎢ 2 ∇H I = ⎢ I yx ⎢ I zx ⎣ x0での勾配ベクトル I xy I yy I zy I xz ⎤ 2 ⎥ I yz ⎥ I = ∂ I xx ∂x 2 ⎥ I zz ⎦ x0での３ｘ３ヘッセ行列 , I xy ∂2I = ∂x∂y , ... 26 ヘッセ行列解析の基本事項 • ２次形式とヘッセ行列の固有値、固有ベクトルの関係 I ( x, y ) = ax 2 + 2bxy + cy 2 ２次形式 I ( x′, y′) = a′x′2 + c′y′2 ２次形式の標準形 ヘッセ行列 ヘッセ行列 固有値 1, 2 ヘッセ行列 ⎛ I xx ⎜ ⎜ ⎝ I xy λ λ I xy ⎞ Ixx = a I = b b I yy ⎟⎠ xy Iyy = c 固有ベクトル y λ1=a =a’ λ2=c’ e1, e2 y′ e2 λ1 ≥ λ2 x e1 x′ ヘッセ行列固有値(|λ1 | > | λ2 |) ・固有ベクトル(e1, e2)と ２次元局所構造の基本関係 λ1, λ2 ヘッセ行列固有値 ヘッセ行列固有ベクトル λ1 >> λ2 ≈ 0 y e2 e1 x′ λ1 ≥ λ2 e1, e2 λ1 ≈ λ2 >> 0 y y′ y′ e2 x 線状構造 e1 x′ x 塊状構造 27 ヘッセ行列に基づく多重解像度３次元画像解析 ２次局所構造の強調・識別 • ヘッセ行列の３つの固有値（λ3 ≤ λ2 ≤ λ1 ）の関係に基づいて， ３次元濃淡分布の２次局所構造（塊状・線状・面状構造）の強 調・識別を行う． 調 識別を行う 塊状構造 e1 ヘッセ行列の 固有値・固有ベ クトルの関係 固有値 条件式 λ1 線状構造 面状構造 e1 e2 λ2 λ3 e3 λ1 e2 λ2 λ3 λ1 e1 λ2 e2 λ3 e3 e3 λ3 = λ2 = λ1 << 0 λ3 = λ2 << λ1 = 0 λ3 << λ2 = λ1 = 0 構造例 腫瘤 血管，気管支 皮質，軟骨 ヘッセ行列固有値に基づく強調フィルタ ２次元局所構造 ２Ｘ２ヘッセ行列固有値 |λ | 1| > |λ | 2| 腫瘤（塊状） 腫瘤 （塊状） 理想腫瘤：|λ1|= |λ2| >> 0 腫瘤らしさ： |λ2 | 血管（線状） 血管 （線状） 理想血管：|λ1|>> |λ2|=0 血管らしさ： |λ1|− |λ2| ３次元局所構造 ３Ｘ３ヘッセ行列固有値 |λ1| > |λ2| > |λ3| 腫瘤（塊状、球形） 腫瘤 （塊状、球形） 理想腫瘤：|λ1|= 腫瘤らしさ： |λ3 | |λ2| = |λ3|>> 0 血管、気管支 （線状構造：細長い構造） 理想血管：|λ1|= |λ2| >> 血管らしさ： |λ2|− |λ3| |λ3| = 0 関節軟骨、皮質 （面状構造：薄っぺらい構造） 理想皮質：|λ1|>> |λ2|= 皮質らしさ： |λ1|− |λ2| |λ3|= 0 28 ヘッセ行列の多重解像度解析 • 複数解像度σf のガウス関数G(x x;σf)による平滑化画像 G(xx;σf) *I(xx) に対するヘッセ行列固有値解析 • 最適解像度の選択基準、多重解像度統合の理論的基礎 • 様々な径・幅の局所構造検出、識別、定量化の基礎手法 ⎡ I xx ⎢ ∇H2I = ⎢ I yx ⎢ I zx ⎣ σf = 1 I xy I yy I zy I xz ⎤ ⎥ I yz ⎥ I zz ⎥⎦ ∂2 G(x (xx;,σyf), *z;I(xσx)f )* I xx = 2 G ∂x * 畳み込み積分 σf = 1.4 σf = 2 多重解像度統合 Line‐filered volume Line‐ with Gaussian‐‐blurring with Gaussian Original volume L(x,y,z; σ1 ) σ1 Multiscale line‐ line‐filtered volume σ2 I(x,y,z) L(x,y,z; σ2 ) max i L(x,y,z; σi ) σ3 L(x,y,z; σ3 ) 29 多重解像度統合 異なる解像度σiのガウス平滑化画像 f (xx；σi)の線状度 λline(x x；σi) σ 2 = 1.5 σ 3 = 1.52 σ1 = 1 f (xx；σ1) の線状度 λline(x x；σ1) 正規化処理 f (xx；σ2) λline(x x；σ2) の線状度 × σ12 × σ22 f (xx；σ3) の線状度 λline(x x；σ3) × σ32 最大値選択 各位置 x において，最大の線状度をとる解像 度の出力を選択 λline(x x) = maxi{σi2 λline(xx；σi)} 多重解像度線状構造フィルタ応答特性 フィルタ出力値特性（入力幅ー出力値） 理想応答 多重解像度 σ1 + σ2 + σ3 1 1 0 96 0.96 解像度 フィルタ出力値 σ2 解像度 解像度 λline σ3 σ1 96%範囲 96% 範囲 σ1 σ2 σ3 入力線幅（半径R） 30 ヘッセ行列に基づく多重解像度３次元画像解析 応用例 線状構造 面状構造 塊状構造 （腫瘤） （血管，気管支） （皮質・軟骨） 線状構造強調フィルタリングによる ＣＴ画像からの細気管支の可視化 原画像の ボリュームレンダリング ３次元ＣＴ画像 気管支 （線状構造） 雑音 線状構造強調像の ボリュームレンダリング Sato et al. Med Image Anal 1998 31 面状構造強調フィルタリングによる ＭＲ画像からの股関節軟骨の検出 ３次元ＭＲ画像 原画像 関節軟骨 （面状構造） 雑音 骨部 面状構造強調 軟骨組織（関節骨表面に付着 した非常に薄い組織である） 線状構造強調フィルタリングによる ＭＲ画像からの脳血管の可視化 原画像の ボリュームレンダリング ３次元MR画像 血管 （線状構造） X線血管造影像 皮膚 （面状構造） 線状構造強調像の ボリュームレンダリング Sato et al. Med Image Anal 1998 32 面状構造に基づく組織分類による ＣＴ画像からの骨腫瘍の可視化 不透明度 頻度 １次元伝達関数 骨腫瘍 （原画像のみ） 骨皮質 放射線科医マニュアルトレース 原画像ＣＴ値 面状度 ３次元ＣＴ画像 骨皮質 骨腫瘍 原画像ＣＴ値 （頻度を濃度で表現） ２次元伝達関数 Sato et al. IEEE Trans Vis Comput Graph 2000 塊状・線状構造に基づく組織分類による 胸部ＣＴ画像からの肺の可視化 １次元伝達関数 （原画像のみ） ３次元ＣＴ画像 不透明度，頻度 血管 腫瘤 原画像ＣＴ値 Sato et al. IEEE Trans Vis Comput Graph 2000 33 塊状・線状構造に基づく組織分類による 胸部ＣＴ画像からの肺の可視化 多次元伝達関数 塊状度 ３次元ＣＴ画像 腫瘤 線状度 （頻度を濃度で表現） 原画像ＣＴ値 血管 原画像ＣＴ値 Sato et al. IEEE Trans Vis Comput Graph 2000 面状構造に基づく組織分類によるＭＲ画像からの 乳児脳発達（髄鞘化：myelinization)の可視化 ３次元ＭＲ画像 １次元伝達関数 （原画像のみ） 不透明度，頻度 髄鞘 大脳皮質 皮膚 原画像ＣＴ値 Sato et al. IEEE Trans Vis Comput Graph 2000 34 面状構造に基づく組織分類によるＭＲ画像からの 乳児脳発達（髄鞘化：myelinization)の可視化 面状度 ３次元ＭＲ画像 ２次元伝達関数 大脳皮質 髄鞘 原画像ＣＴ値 （頻度を濃度で表現） Sato et al. IEEE Trans Vis Comput Graph 2000 ヘッセ行列に基づく多重解像度３次元画像解析 強調・識別フィルタから 強調 識別フィルタから 精密定量化・高次処理へ 腫瘤 （塊状構造） 血管 （線状構造） 皮質・軟骨 （面状構造） 35 ３次元画像の局所濃淡分布の記述 • ３次元画像の濃淡値関数 I(x x) （x x = (x, y, z)） における注目点 x0近傍の 濃淡値分布は、テーラー展開 テーラー展開により以下の３次元連続関数（２次多項式） で近似できる。 I(xx) = I(xx0) + (xx−xx0)∇I0 + (1/2)(xx−xx0)∇2I0 (xx−xx0) x0での濃淡値 ∇I = (I x , I y , I z ) ⎡ I xx ⎢ 2 ∇H I = ⎢ I yx ⎢ I zx ⎣ x0での３ｘ３ヘッセ行列 x0での勾配ベクトル I xy I yy I zy Ix = ∂I ∂I ∂I , Iy = , Iz = ∂x ∂y ∂z I xz ⎤ 2 ⎥ I yz ⎥ I = ∂ I xx ∂x 2 I zz ⎥⎦ , I xy ∂2I = ∂x∂y , ... ヘッセ行列に基づく多重解像度３次元画像解析 ２次局所構造の定量化・記述 • 勾配ベクトルも加えた，２次までのテーラー展開に基づいて，各 構造要素中心点（極値）のサブボクセル位置決め，幅の定量化 を行う．構造要素のグルーピングにより大局的な線状・面状構造 の記述を得る． の記述を得る 塊状構造 線状構造 e1 走行方向 各構造を特 徴づけるパ ラメータ 面状構造 幅 e3 法線方向 幅 中心点 （極値） 位置決め 中心点 断面内 ２次近似 断面 f 法線方向 ２次近似 中心点 e3 36 線状構造中心線／薄面構造中心面の検出 線の走行方向／面の法線方向が与えられ、xo近傍に中心線／中心面が存在する条件： 線 u 薄面 v u 走行方向の直交断面の濃淡分布 C(u,v) が xo近傍でピークを持つ。 法線方向に沿うプロファイル 近傍でピークを持つ。 v P(u) がxo At the peak, At the peak, P’(u) P (u) = 0 =0 ∇C(u,v) ( ) = 0 x0 x0 u u ポイント： xo近傍が２次多項式で記述されているので、いっさい離散近似することなく、解析 的に（純粋に数式で）計算できる。 複数解像度における中心線検出 （腎動脈造影ＣＴ画像） ＣＴデータ CT image MIP Volume rendering Line‐filtered 検出された中心線 σ=1.0 σ=1.4 σ=2.0 σ=2.8 37 多重解像度中心線連結処理 解像度空間における局所中 心線の連結 局所中心線 σ 局所中心線 y 線状構造 y,z x 中心線 解像度空間 x 同一３次元位置における複数解像度フィルタの応答値を比較することにより最適解像度 選択と中心線連結を同時に行っていく。 ３次元画像のヘッセ行列固有値解析 • 固有ベクトル（回転成分）に基づく構造記述と方向・幅の 定量化 細 太 股関節軟骨（面） Bottom view Side 腫瘤 （塊状構造） 血管 （線状構造） 皮質・軟骨 （面状構造） Bottom Front 腎動脈（線） 肺血管（線）と腫瘤（塊） Side view Front view 38 ヘッセ行列に基づく多重解像度３次元画像解析 手法のポイント • デジタル画像の元になっている連続関数を（ほぼ） 忠実に反映した解析を行える。画像の持つ情報を、 シンプルな形で、最大限利用し、高精度の解析が行 える。 • 連続関数の局所的２次近似に基づき、サブボクセル 単位で（標本化間隔に制約を受けず）、解像度限界 付近の情報を解析できる。 情 析 • 最適解像度の選択、解像度統合を明確な基準で行 える。 ヘッセ行列に基づく多重解像度３次元画像解析 強調フィルタから精密定量化・高次処理へ 応用例 腫瘤 （塊状構造） 血管 （線状構造） 皮質・軟骨 （面状構造） 39 面状構造 幅計測の応用 股関節軟骨厚分布の再構成 • 面強調フィルタ処理による軟骨（初期）領域の抽出 • 面構造の中心面抽出（ヘッセ行列と勾配ベクトルの解析） • 中心面の各点で面構造法線方向探索による軟骨輪郭の精密決定および幅計測 MR画像 MR 画像 正常 病態 厚み 下方 視点 3.9 mm 2.8 mm 1.7 mm 0.6 mm Sato, Nishii, Nakanishi et al. MICCAI 1999, Sato et al. IEEE Trans Med Imaging 2003 血管方向計測の応用 血管方向分布に基づく肺腫瘤の良悪性判定 （四方、北岡） • 線強調フィルタによる血管検出および固有ベクトルにより血管方向計測 （従来法よりも、簡便かつ高精度で計測可能） 悪性 良性 求心角度 求心角度 65 65 60 [degree] 90 60 55 55 50 50 45 45 40 40 35 35 30 30 25 25 0 1 2 3 4 5 腫瘤中心からの正規化距離 0 1 2 3 4 5 45 腫瘤中心からの正規化距離 • 正常肺内の血管方向はランダムに分布していると仮定できる。 • 悪性腫瘍周辺では、血管は腫瘍に引き込まれるので、腫瘍周辺の血管 方向は、腫瘍の方向に向かう。良性ではその傾向が小さい。 Shikata, Kitaoka, Sato et al. CARS 2000, RSNA 2001. 0 40 面状構造の法線方向に基づく面分割 超高分解能ＣＴからの肺胞構造解析 （藤本、北岡） • 面強調フィルタによる肺胞隔壁の検出および面構造中心面抽出 • 面法線方向に基づく隔壁面分の分割 • （隔壁面分のグル （隔壁面分のグルーピングによる肺胞の抽出） ピングによる肺胞の抽出） （肺胞の抽出） 0.2mm 拡大 断面 超高分解能ＣＴ画像 肺胞 面構造中心面抽出 隔壁面分の分割 0.5mm Fujimoto, Sato, Kitaoka et al. RSNA 2004 ヘッセ行列多重解像度解析に基づく 血管径精密定量化 血管 （線状構造） 41 背景・目的 • 背景 – （準）等方性解像度３次元ＣＴ撮影が 臨床において一般的になってきた。 – 従来可視化困難であった細血管が 描出可能になってきた。 描出可能になってきた • 目的 – 等方性ＣＴデータの利点を活用した、 定量的血管モデリング（特に細い血 管を対象として） • ポイント – ＣＴ点広がり関数(PSF ＣＴ点広がり関数(PSF: point‐spread function)を考慮に入れる。 i df i )を考慮に入れる – 血管のＣＴ撮影過程を数理的に記述し、血管径計測を、ＣＴ撮影と多重解像度ヘッ セ行列固有値フィルタリングを縦続接続した過程の逆問題として定式化する。 – 血管検出・追跡・定量化に対して一貫性のある多重解像度解析の枠組みを提供 する。 • ガウス２次微分のゼロ交差により検出された 血管断面輪郭エッジに基づく径計測において、 – 細血管では、過大推定 細血管では 過大推定 (D < 2σ). 2 ) – やや細血管では、やや過小推定 (D > 3σ). – 大血管では、ほぼ正確な推定 (D >> 3σ). D: 血管径 径の真値 D σ: ガウス関数標準偏差. （半値幅では、やや過小推定する傾向はみら な 、過大推定 傾向 、同様 ある。） れないが、過大推定の傾向は、同様である。） ガウス ２次微分 _ + + 径の計測値 細血管径計測における 従来法の問題点 やや細血管 大血管 v u u v 42 アプローチの概要 フィルタ 応答値 多重解像度ヘッセ行列フィルタ 血管のＣＴ撮影 血管中心線上における ヘッセ行列固有値解析 CT撮影ＰＳＦ 血管モデル（円３Ｄ‐ＣＴデータ （等方性３次元 柱） ガウス関数） Scale 1 σ1 Scale 2 σ2 標準偏差 直径 D H σpsf 未知数 未知数 コントラスト Scale n σn R1 R2 Rn f (D, H, σpsf; σi) 実際のフィルタ応答値 Ri 方程式: f (D, H, σpsf; σi) = Ri (i = 1. 2., ..., n) フィルタ応答値理論式 最小２乗推定 Σ i { f (D, H, σpsf; σi) − Ri }2 Æ min 未知数 ファントムデータ 原画像 アクリル棒ファントム 径： 3, 2, 1.5, 1, 0.75, 0.5 (mm): 直線状 ７方向 (15度間隔) 径： 2, 1.5, 1, 0.75, 0.5 (mm): 曲線状 多重解像度解析（解像度レベル数９） σi = 2^(i/4) (voxels) i = 0, 1, ….., 8 中心線 細 太 径計測 ＣＴ撮影条件 GE LightSpeed Toshiba 0.5 mm isotropic 1.25 mm slice thickness 0.5 mm pitch voxel imaging 256 mm FOV 256 mm FOV 512 x 512 matrix 512 x 512 matrix Volume data set is provided by Dr. S. Yamamoto (Osaka Univ.). 43 ファントムデータ：結果 • 真値と計測値の比較 • 提案法と（エッジに基づく）従来法の比較 Toshiba GE LightSpeed 0.5 mm isotropic imaging 1.25 mm slice & 0.5 mm pitch ＣＴ解像度 σpsf = 0.90 voxels (0.45 mm) ＣＴ解像度 σpsf = 1.10 voxels (0.55 mm) 計測値 計 計測 測値 値 (mm) (mm) (mm) 真値 真値(mm) (mm) 真値 真値(mm) (mm) 腎動脈 CT 原画像 (ボリュームレンダリングとＭＩＰ) CT Imaging GE LightSpeed 1 25 1.25 mm slice thickness li thi k 0.63 mm pitch 220 mm FOV 512 x 512 matrix 中心線 径計測 多重解像度解析 （解像度レベル１１） σi = 2^(i/4) (voxels) i = 0, 1, ….., 10 細 太 Volume data set is provided by Dr. N. Shiraga (Keio Univ.). 44 腎動脈 CT • 提案手法と（エッジに基づく）従来法との比較 血管輪郭のエッジ検出の 血管輪郭 ジ検出 失敗 肺 CT 原画像 CT Imaging CT Imaging GE LightSpeed 1.25 mm slice thickness 0.63 mm pitch 345 mm FOV 512 x 512 matrix 中心線 細 太 径計測 多重解像度解析（解像度レベル数１１） σi = 2^(i/4) (voxels) i = 0, 1, ….., 10 Volume data set is provided by Dr. N. Tomiyama (Osaka Univ.). 45 ヘッセ行列に基づく多重解像度３次元画像解析 まとめ 線状構造 面状構造 塊状構造 （腫瘤） （血管，気管支） （皮質・軟骨） ヘッセ行列に基づく多重解像度３次元画像解析 まとめ • ３次元画像において，解像度限界付近の面状， 線状，塊状を呈する微細構造の強調・識別・定 量化・構造記述化に有効な画像解析の基礎的 枠組みについて述べた． • その枠組みは その枠組みは，３次元医用画像からの，脈管， ３次元医用画像からの 脈管 皮質状組織，腫瘤状組織の解析において有用 である． 46 ヘッセ行列に基づく多重解像度３次元画像解析 医工連携研究の観点からの考察 • 「医学的ニーズの解決」と「画像解析基盤構築」 の相乗効果 – 最新の高解像度かつ多様な医用画像，およ び，それらに関わる多様な医学的課題が， 基礎的枠組みの構築に．不可欠な刺激，動 機付けを与えている． – 構築された枠組みにより，幅広い分野の医 学課題が見通しよく解決される． 手術ナビゲーション 47 外科手術支援システム 研究動機 １９９５年４月 手術室にグラフィックス計算機を持ち込むという目 標設定における整形外科医と議論の中で、骨盤骨切り術のナ ビゲーションを行うアイデアが生まれた。 ナビゲーションの必要性 骨ノミ •骨ノミ位置のモニタリング 骨ノミ位置のモニタリング：骨盤内部 は、ブラインドになるので、骨ノミの位 置把握が困難。骨盤を突きぬければ、 重要な血管に損傷を与える危険がある。 骨盤 •骨片移動のモニタリング 骨片移動のモニタリング：切り離した 骨片を最適な位置に設置できているか どうかを確認したい。 以上のモニタリング手段を，レントゲン 撮影（X線透視）なしで実現したい。 大腿骨 骨切り術ナビゲーションシステム １９９５年 １号機 (Sato et al. ISCAS 1995) 実験室における骨盤骨切り術の模擬手術 自作３次元位置センサ のカメラ部 （発光ダイオード 位置を精度2 mmで計測） ３次元形状モデル （模擬手術前） 発光ダイオード 骨ノミ 実物の３次元物体 （模擬手術後） 再構成された ３次元形状モデル デ （模擬手術後） 骨ノミの 運動情報 + 48 骨切り術ナビゲーションシステム １９９８年 実用機：現在も臨床稼動中 (Nakahodo et al. CARS 2000) 手術室のセッティング リアルタイム モニタリング映像 ３次元位置センサ 手術中の手術器具 運動情報 手術器具 手術前ＣＴ画像の 骨盤３次元モデル デ ４次元 再構築 In Collaboration with Dr. N. Sugano , Osaka University 大阪大学では，骨盤骨切り 術において，術中X線透視を いっさい行わずナビシステ ムだけで手術を行っている． 骨切り術ナビゲーションシステム 術後X線画像との比較 術前モデルと術中３次元データの 統合に基づく再構成画像 術後X線画像 In Collaboration with Dr. N. Sugano, Osaka University 49 乳がん手術支援システム • ３次元超音波画像による乳がん３次元モデリングと その拡張現実感（実写画像との融合）表示 In Collaboration with Dr. Tamaki, Osaka University Sato, Nakamoto, Tamaki, et al, IEEE Trans Medical Imaging, 17(5): 681‐693, 1998. 乳がん手術支援システム ３次元超音波拡張現実感システム 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ 位置計測 Σcam‐mkr ビデオ カメラ T4 Σcamer a Σimage T2 カメラ校正 P i i = x T1T2T3T4 P T1 超音波 校正 固定 可変 光学マーカ Σus‐mkr 超音波プローブ 超音波プロ ブ x 超音波画像 Σus In Collaboration with Dr. Tamaki, Dr. Nakamoto, Osaka University 50 乳がん手術支援システム ３次元超音波拡張現実感システム 光学式３次元位置センサ 位置計測 GPS Σ tracker T3 光学マーカ T4 Σimage T2 カメラ校正 P Σcamer a 可変 位置計測 Σcam‐mkr ビデオ カメラ 固定 i i = x T1T2T3T4 P T1 超音波 校正 光学マーカ Σus‐mkr 超音波プローブ 超音波プロ ブ x 超音波画像 Σus In Collaboration with Dr. Tamaki, Dr. Nakamoto, Osaka University 乳がん手術支援システム ３次元超音波拡張現実感システム 固定 光学式３次元位置センサ 可変 位置計測 GPS Σ tracker 光学マーカ T3 位置計測 光学マーカ Σcam‐mkr T2 Σus‐mkr T4 カメラ校正 ビデオ P カメラ T Σcamer i 超音波1 超音波プローブ 超音波プロ ブ a 校正 Σimage i = x T1T2T3T4 P x 超音波画像 Σus In Collaboration with Dr. Tamaki, Dr. Nakamoto, Osaka University 51 ビデオカメラから内視鏡へ 乳がん手術支援システム ３次元超音波拡張現実感システム 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ 位置計測 Σcam‐mkr ビデオ カメラ T4 Σcamer a Σimage T2 カメラ校正 P i i = x T1T2T3T4 P T1 超音波 校正 光学マーカ Σus‐mkr 超音波プローブ 超音波プロ ブ x 超音波画像 Σus 52 ３次元超音波 内視鏡 拡張現実感システム 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ 位置計測 Σcam‐mkr 内視鏡 カメラヘッド T2 光学マーカ Σus‐mkr T4 カメラ校正 P T1 超音波 校正 i i = x T1T2T3T4 P 超音波プローブ 超音波プロ ブ x 超音波画像 Σus 経直腸前立腺３次元超音波内視鏡拡張現実感 In Collaboration with Dr. Nakamoto, Dr. Ukimura and Dr. Gill, Cleveland Clinic 53 経直腸前立腺３次元超音波内視鏡拡張現実感 In Collaboration with Dr. Nakamoto, Dr. Ukimura and Dr. Gill, Cleveland Clinic 前立腺がん除去のため前立腺全摘出 前立腺摘出において，がん周辺で のマージンを適切に確保する 拡張現実感表示 超音波画像 ３次元超音波モデル （前立腺，精嚢，精管） In Collaboration with Dr. Nakamoto, Dr. Ukimura and Dr. Gill, Cleveland Clinic 54 経直腸前立腺３次元超音波内視鏡拡張現実感 膀胱がん除去のための前立腺摘出 超音波ドプラー画像 前立腺に近接する神経束に併走する 血管を可視化することにより，神経束 への損傷を最小限に抑える． 損傷を最小限 抑える 拡張現実感表示 ３次元超音波モデル In Collaboration with Dr. Nakamoto, Dr. Ukimura and Dr. Gill, Cleveland Clinic 術中画像から術前画像へ 腎臓への適用 55 ３次元超音波 内視鏡 拡張現実感システム 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ 位置計測 Σcam‐mkr 内視鏡 カメラヘッド T2 光学マーカ Σus‐mkr T4 カメラ校正 P T1 超音波 校正 i 超音波プローブ 超音波プロ ブ x i = x T1T2T3T4 P 超音波画像 Σus 術前３次元画像 内視鏡 拡張現実感システム 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ Σcam‐mkr 内視鏡 カメラヘッド 剛体位置合わせ T4 カメラ校正 P i i = x T1T3T4 P T1 物理空間（位置セン サ）座標系と仮想空間 （CT画像）座標系の相 対関係 x ＣＴ画像 Σct 56 術前３次元画像 内視鏡 拡張現実感システム 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ Σcam‐mkr 内視鏡 カメラヘッド 剛体位置合わせ T4 カメラ校正 T1 物理空間（位置セン サ）座標系と仮想空間 （CT画像）座標系の相 対関係 P i ＣＴ画像 Σct i = x T1T3T4 P 術前３次元画像 内視鏡 拡張現実感システム 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ Σcam‐mkr 内視鏡 カメラヘッド T4 カメラ校正 剛体位置合わせ 解 学 特 解剖学的特徴 T1 P i i = x T1T3T4 P ＣＴモデル Σct 57 腎移植のためのドナーからの腎臓摘出 Nakamoto et al. • 腎臓摘出の際，腎動静脈の適切・安全・確実に確保 術前CTモデル 拡張現実感表示 In Collaboration with Dr. Nakamoto, Dr. Ukimura and Dr. Gill, Cleveland Clinic 腎がん除去のための腎部分切除 Nakamoto et al. • 腎臓内に埋まった腎がんを適切なマージンで除去．腎がん 表面からの距離を色で表示． 術前CTモデル 拡張現実感表示 In Collaboration with Dr. Nakamoto, Dr. Ukimura and Dr. Gill, Cleveland Clinic 58 内視鏡拡張現実感における技術的課題 • 広範な応用範囲 に向けて – 直視鏡から斜視鏡（可変視野）へ 斜視鏡校正法の開発 – 硬性機器から軟性機器へ 直視鏡 斜視鏡 磁気式3次元位置センサの簡便迅速な磁場歪み補正 腹腔鏡対応超音波プローブ（体内で変形） – 対象臓器：固定から変形・移動へ 肝臓呼吸性移動・変形の補正 術中画像の変形解析 腹腔鏡下肝臓呼吸運動復元 Nakamoto et al. MICCAI 2006 九州大学との共同研究 59 内視鏡手術ナビゲーション：豚実験 腹腔鏡対応超音波スキャン (腹腔鏡画像) 豚 磁場歪み補正磁気センサ 腹腔内部 プローブ（肝臓表面 プロ ブ（肝臓表面 上をスキャン） 腹腔鏡 超音波 プローブ Collaboration with Prof. Hashizume, Dr. Konishi (Kyushu Univ) and Dr. Nakamoto (Osaka Univ) ３次元超音波像の腹腔鏡拡張現実感 腹腔鏡対応超音波ドプラー像と ３次元超音波血管モデル ３次元超音波画像獲得には息止めが必 要 腹腔鏡画像と拡張現実感像 拡張現実感表示は息止めが必要 Nakamoto et al. MICCAI 2006 60 腹腔鏡下肝臓呼吸運動復元 背景・必要性 • 患者の息止めを行うことは手術の進行，患者の状態に 影響を与えるので 息止め回数は最小限にしたい 影響を与えるので，息止め回数は最小限にしたい． 息止めなしの 拡張現実感表示 • 息止めなしで重ね合わせ精度を維持するためには，呼吸にともなう変形・移動の推定が 必要となる． Nakamoto et al. MICCAI 2006 ３次元画像 内視鏡 拡張現実感システム における臓器変形・移動の補正 光学式３次元位置センサ 位置計測 Σtracker GPS T3 光学マーカ 変形・移動の補正 Σcam‐mkr T1(t) Σliver ３次元画像 T4 カメラ校正 内視鏡 カメラヘッド P i i = x T1T3T4 P 61 腹腔鏡下肝臓呼吸運動復元 データ獲得と時相合わせ • 呼吸下において，超音波プローブを肝臓表面におき， – 画像（枠）の大局運動を捉えた磁気式位置センサ(モーション キャプチャ装置）のプローブ運動 – 局所変形を捉えた時系列２次元超音波断層像 を複数断面で獲得し，時相合わせを行う． 呼吸時のプローブ運動 呼吸時の２次元超音 波画像の獲得 + 複数の断面 Nakamoto et al. MICCAI 2006 時系列３次元（４次元）変形場の推定 • 時系列２次元面内変形場を複数断面で推定する. • ２次元面内変形場とプローブ運動を組合せ，時系列３次元（４次元）変形場を推定 する． 時系列２次元面内変形場 + 時系列３次元変形場 プローブ 運動（大 局運動） 62 腹腔鏡下肝臓呼吸運動復元 ４次元超音波血管モデルの復元 • ３次元超音波モデルと時系列３次元変形場を組合せること により，４次元超音波結果モデルを復元する． 時系列３次元（４次元）変形場 息止め下で獲得した ３次元超音波血管モデル + 腹腔鏡下肝臓呼吸運動復元 ４次元血管モデル復元の結果 側面像 正面像 • 長方形フレーム（緑色）は超音波画像断面を表す． • 側面像において，呼気時と吸気時において，軌道が異なることが観察できる． Nakamoto et al. MICCAI 2006 63 腹腔鏡下肝臓呼吸運動復元 今後の方向 • 術中３次元超音波と術前３次元CTモデルの非剛体位置 合わせにより 術前画像情報の術中 のマ ピング 合わせにより，術前画像情報の術中へのマッピング 術前３次元CTモデル 術中３次元超音波モデル 非剛体 位置合わせ 腹腔鏡下肝臓呼吸運動復元 今後の方向 • 術中３次元超音波と術前３次元CTモデルの非剛体位置 合わせにより 術前画像情報の術中 のマ ピング 合わせにより，術前画像情報の術中へのマッピング 術前３次元CTモデル 術中４次元超音波モデル 非剛体 位置合わせ 64 医用画像解析・手術ナビゲーション 医用画像解析 手術ナ ゲ ション ソフトウェアプラットフォーム 医用画像解析と手術ナビゲーションシステム ベンチャー企業連携 • 本発表で紹介した手術ナビゲーション研究の多くは（初期に開発 されたものは除いて） 我々のグループで開発され、製品化され されたものは除いて），我々のグル プで開発され、製品化され た同一の医用画像解析プラットフォームの上でシステム開発が 行われている。（プラットフォーム名はもともとMviewで，Mview のVersion 2 以降は，Virtual Place, Medical Viewer Tool Kit と名づ けられている）． • ベンチャー企業化により、強力な（ソフトウェア）エンジン、インタ フェース，プラグイン機能を持つプラットフォームの開発・機能増 強が継続的になされ 共同研究契約を結び 学術研究において 強が継続的になされ、共同研究契約を結び、学術研究において 継続的利用が可能となっている。このプラットフォームにより、工 学側は、統一した開発環境、臨床側は、統一した使用環境を得 ることができ、臨床融合研究において必要不可欠な環境を提供 している。 65 医用画像解析・手術ナビゲーション ソフトウェアプラットフォーム Virtual Place, Medical Viewer Toolkit • プラグイン機能，基本画像処理機能を活用した研究例 Virtual Place, Medical Viewer Toolkit 本発表で紹介した研究例 術中MR画像誘導 先端医療振興財団・黒田上席研究員 肺癌手術計画 大阪大学・上甲教授 関節動態解析 大阪大学・菅本教授 乳癌手術計画 大阪大学・玉木助教授 将来展望 スーパービジョン，（スーパーハンド） から スーパーブレイン へ 66 統計アトラスの今後の発展 単一臓器統計アトラス： Adjustable to single organ of each patient 多臓器（隣接関係）統計 アトラス：Adjustable to closely related multiple organs of each patient 全身（階層的）統計 アトラス：Adjustable to the whole body of each patient Abd i l Abdominal organs Hip joint (pelvis, femurs, and cartilages) • 臓器間の隣接関係、階層関係を表現可能な統計的アトラスの 研究がさらに必要。 医用画像解析・手術支援の現状 病院 手術室 手術ナビゲーション 画像解析ラボ 放射線科 医用画像撮影 ３次元モデリング， ３次元モデリング 手術計画 画像・３次元モデ ル・手術計画データ 67 医用画像解析・手術支援の発展 発展 電体新書（人体内部構造統計 電体新書（人体内部構造統計 的モデルのデータベース） 電脳医学大全（手術 電脳医学大全（手術 アルゴリズムのデータベー ス） 病院 画像・３次元 モデル・手術 モデル 手術 データの 統計的解析 手術室 手術ナビゲーション ４次元手術記録 画像解析ラボ 放射線科 医用画像撮影 ３次元モデリング， ３次元モデリング 手術計画 画像・３次元モデ ル・手術計画・４次 ４次 ル・手術計画デー タベース 元手術情報データ 元手術情報 ベース 主な共同研究者 • 大阪大学 大学院医学系研究科 – – – – – – 画像解析：中本将彦，山崎隆治 放射線科：堀雅敏，田中寿，村上卓道（現 近大），中村仁信 整形外科：菅野伸彦，西井孝，菅本一臣，吉川秀樹 乳腺内分泌外科：玉木康博 腺 康博 耳鼻咽喉科：田村学 保健学専攻：上甲剛 • 大阪大学 大学院情報科学研究科： 萩原兼一 • 九州大学 大学院医学研究院 – 橋爪誠，小西晃造，吉野一郎 • 神戸大学 大学院工学研究科： 多田幸生 • 立命館大学： 陳延偉 • Cleveland Clinic – Osamu Ukimura, Indibir Gill • University of Teheran – Reza Zorrofi 68