Comments
Description
Transcript
自然科学の方法 (1) Apr.11.2008
知的情報処理研究室 Intelligent information processing lab (IIPL). since 2010 理工学部 応用情報工学科 彌冨 仁 (いやとみひとし) [email protected] http://iyaomi-lab.info 南館 S603(学生研究室) / S604(いやとみ居室) 研究室の概要 研究テーマと目的 Deep Learning ・コンピュータによる高度知的情報処理の実現 「学習するコンピュータ」 人間に近づく 「人間のような判断ができる」 etc. ・人間には難しい問題に対して、支援を行うシステムの開発 人間を支える ・世の中を変える新しい技術の開発 ・各種画像処理 ・生命を模倣した新しい情報処理 ・ネットワーク技術 などを切り口にして 新しい価値の創造を目指す! 構成人数 (2015年度) 教員1名 大学院2年生 5名 大学院1年生 3名 学部4年生 8名 研究室の対外的な活動 現時点までの対外的成果 (2016/3月現在) 原著論文 : 国際会議論文: 国内研究会などでの発表: 46件 (うち英文誌33件) 56件 約80件 現在の外部研究資金: project ・文部科学省 科学研究費補助金 基盤研究C (平成26-28年) 「識別の根拠が提示できるメラノーマ自動識別技術の開発」 ・科学技術振興機構(JST) A-STEP Feasibility study (平成28-29年) 「農作物における病気の画像診断システムの構築」 これまで他に 科研費5件、JST(科学技術振興機構)の研究助成5件、企業からの受託・寄付研究 数件 共同研究先 ・慶應義塾大学医学部 皮膚科学教室 ・東京女子医科大学医学部 皮膚科学教室、病理科学教室 ・東海大学医学部 放射線科学教室 ・埼玉県農林総合研究センター ・Louisiana State Univ., Dept of Computer Science & Engineering (米) ・Loughborough Univ., Dept of Computer Science (英) ・University of Queensland, School of Medicine Dermatology group(豪) ・Second University of Naples, Dept of Dermatology(伊) 他多数 Laboratory policy & vision We trust and respect for individuals. お互いを信頼し、尊重します。 We achieve our common objectives through teamwork. 目標に向かってみんなでがんばります。 We open the door. いつでも相談どうぞ (いるときは)ドアは空いています。 みんなで楽しくpower upできる研究室でありたい 「よく学び よく遊べ」 いやとみは いい研究を行うためのいい環境の整備 および機会を提供できるよう最大限努力します (いい環境があれば、がんばれる!=だから頑張って!) 1人1人が、外に出せる成果を生み出せる力をもつ研究室でありたい 研究、研究室生活を通じて、広く求められる人材になる (大学院生になったら、国際会議デビューならびに 1人1編(以上)のJournal論文を目指す) 機械学習のパラダイム変化 従来の識別システム 入力 特徴 特徴抽出 識別結果 識 別 ・各種識別モデル ×手動で設計 ×面倒な前処理が必要 (領域抽出など) 深層学習 (deep learning) 識別に必要な特徴を自動で獲得 識別結果 特徴抽出+識別 特徴抽出部 Input C1 C2 C3 ・たたみ込み処理(convolution) ・統合・選択処理(pooling) ・局所コントラスト標準化処理 識別部 C4 C5 F6 F7 Output 従来のneural network と同様の構造 人間の視覚と同様、画像の局所領域ごとの処理を階層的に行う → 画像の中の“特徴”を自動的に学習する Deep Learningを用いた植物病自動診断(1) 簡単、便利、安価な植物病診断システムを作って、 世界の農業、そして世界の食糧事情を良くしたい! →植物と機械学習に専門性をもつ研究者が1つのチームに! ぼくらには情熱と技術的な実績がある! (メラノーマ(皮膚がん)の自動診断システム*を世界中の皮膚科医に公開して10年) *http://dermoscopy.k.hosei.ac.jp +Deep Learning技術の台頭 よし! 新しい技術を使って画像診断システムを作ろう! → きゅうりウィルス病の自動診断システムを試作 MYSV ZYMV CCYV CMV HEALTHY 葉の写真を撮るだけで すべて(7種)のウイルス病と 健全葉を約83%の精度で識別 できるシステムを実現! 7 Deep Learningを用いた植物病自動診断(2) Deep Learning技術を植物病自動診断に応用して、 世界の農業と食糧事情を改善する! 2015/ 7/18 13:00 N 35.7122 E139.5222 smart phone smart phone (70%) (20%) (10%) Phase 1: Smart Phoneでのお手軽診断 2D ・より多くの病害 ・より多くの食物に対して ・早い、安い、確か Phase 2: 定点観測orドローン等に 応用した大規模観測 ・植物工場対応 ・大きな経済効果 →未来の世界では常識? Phase 3: 経時変化の解析追加 ・植物の健康管理システム 8 →常に画像を取り入れ、診断技術を自己学習する機能の実現 より便利につかえるDeep Learningのモデル開発への挑戦 Adaptive Stride Convolution Network (ASC-net)の検討 SPP-netはプーリングベースの処理 学 習 型 の 畳 み 込 み ベ ー ス の 手 法 は 提 案 さ れ て い な い 一般的なPoolingをストライド幅2の畳み込みに置き換えると精度向上 [4] 畳み込みのストライド幅を入力サイズに応じて動的に変更 k どのような入力サイズに対しても一定サイズの特徴マップを出力 lengthin stride feature maps(any size) lengthout [4] J. T. Springenberg, A. Dosovitskiy, T. Brox, and M. Riedmiller. ” Striving for Simplicity: The All Convolutional Net,” ICLR Workshop Track, 2015. quantized feature(fixed size) 動画像処理・認識 応用 動画像解析による剣道熟練度の定量評価 input C1 Max pooling Average C2 pooling Average C3 pooling 48 50 7 7 dense 24 5 50 3 maps (RGB) 35 maps 12 5 5 48 output 5 24 50 maps concentrate. no-concentrate. 12 no exist 64 maps 3 outputs 学生の検出精度 約80% 状態の推定精度 約70% 動画像解析による授業集中度の定量評価 Deep Learning と画像解析を用いた授業中の学生の集中度自動推定 入力 各CLAのCNNによる推定結果を出力 (集中/非集中/ ) 聴講者候補領域(CLAs) 検出部 集中度推定部 出力 11 新聞メディアの視覚的分類 (ビッグデータ解析:テキストマイニング) (目的)特定のキーワードに対して新聞社がどういった立場で 記事を書いているかを自動分類しmappingする。(メディア理解・分類) メディアの立ち位置を知ることで 社会情勢への深い理解が得られる 構成技術要素: ・記事の内容解析 (記事の数値化) - 形態素解析+各種辞書 - 記事の立場の推定(多変量解析) 独自のWatermarkingを利用した、「紙とデジタルの融合」 Watermarkingとは・・・ 文書や画像に、見た目ではわからないように 秘密の情報を埋め込む 情報の埋め込み (見た目変わらず) ⇒受け取った人が、秘密の内容を受け取る 文書に対する独自のWatermarkingを開発 文書と同じ内容を埋め込めば・・・ ⇒ 紙に印刷した情報の 再デジタル化が実現 ・超高性能OCRへの応用 (optical character reader) 印刷した文書も再デジタル化 ・著作権保護などへの応用 法政大(いやとみ研)で稼働中 (世界初)Internet-based メラノーマ(皮膚がん) 自動診断システム ○ web上での自動診断(支援) 24hours-365days → 患者の早期発見、スクリーニング ○ 腫瘍データベース → 研究者への腫瘍データの公開、標準化 http://dermoscopy.k.hosei.ac.jp 全世界中の皮膚科医から利用されている 腫瘍領域抽出 パラメータの計算 ダーモスコピー画像 識別器による分類 診断結果 (0~100の悪性度) データベースへの登録 通常部位の腫瘍の検査結果例 (メラノーマの例) ・約3-5秒程度で結果を表示 皮膚がんによる 死者低減へ 入力した画像と 腫瘍部分の自動抽出結果 悪性スコア 69.2 / 100 と判定結果 (悪性) スコアが50以上を 「悪性」と判定 →正しく「悪性」と判断 識別性能評価 ROC curveによる評価 感度 (%) 一般腫瘍の判別 手掌・足底腫瘍の判別 熟練皮膚科医の診断精度 線が左上にあるほど 判別性能が良い 100-特異度 (%) 一般腫瘍 ROCカーブの下部面積 (0~1:大きいほど良い) 感度=85.9%, 特異度=86.0%, AUC=0.928 手掌・足底腫瘍 感度=93.3%, 特異度=91.1%, AUC=0.933 →数値の上では、熟練皮膚科医と同等以上の判別精度を実現 メラノーマ自動識別と関連する周辺領域の研究例 ・ ヘルスケア(美容)分野 実施例: ・美白薬剤の効果定量 ・肌質の定量評価 (画像による保湿量、キメの細かさの定量) 0w 4w 肌の拡大画像 12w 偏光フィルタ * ** * C群 A群 * D群 * B群 肌の拡大画像 皮膚画像のみから、 肌のキメの細かさ、保湿量の推定 リスク予測 (1) 0.95 ・手術前、心臓事故のリスク予測 +SPECT +SPECT 0.85 予測能 0.75 Hard event 0.65 SPECT+ SPECT SVM SPECT+ SVM linear All event SPECT linear 核医学検査(SPECT)と、学習モデル(SVM)の応用により、 手術中の致死的な心臓事故(Hard Event)の約9割を予測可能に リスク予測 (2) ・軽度認知症患者の認知症移行の予測 脳血流量に関する新しい定量的な解析手法を用いることで、 軽度認知機能障害患者の 認知症移行を、高精度で予測可能に! 1年以内の移行 3年以内 5年以内 感度 (%) 特異度 (%) 87.0 89.0 90.4 75.9 79.6 88.5 vbSEE: voxel-based analysis stereotactic extraction estimation 1年以内の発症をおよそ8割、5年以内の発症を約9割で予測可能に → 適切な治療により、発症を遅らせる or 防ぐことに貢献 「超解像度技術」 super resolution 多眼カメラを用いた超解像ー撮像デバイスの低コスト化 「超解像度技術」 super resolution N Xˆ n 1 Xˆ n FkT H kT DkT sign( Dk H k Fk Xˆ n Yk ) k 1 P P l P m 0 𝑋𝑛 : 推定高解像度画像 𝑌𝑘 : 観測低解像度画像 𝑁 : 画像枚数 𝑛 : 繰り返し処理回数 α,β,λ: 重み付け係数 m l l m ˆ ˆ I S S sign X n S x S y X n m y l x 𝐷𝑘 : ダウンサンプリング 𝐻𝑘 : ぼけ関数 𝐹𝑘 : 位置合わせ処理 S qp : q方向にpピクセルシフト sign(): 符号関数 * S. Farsiu, D. Robinson, M. Elad, P. Milanfar, “Fast and Robust MultiFrame Super-Resolution,“IEEE Trans. Image Processing, vol. 13, no. 10, pp. 1327-1344, Oct. 2004. 処理前 超解像処理後 動画解析による、対話中の「くせ」の検出&定量化 ・5分程度の会話 ・主成分分析+wavalet変換 人による「くせ」の動画評価を referenceと仮定: → 8割程度の精度、再現度 顔画像の入力 • 顔領域の抽出 • 目・鼻・口領域の抽出 • 目、鼻、口の部位特徴 • 髪面積 • Local Binary Pattern (LBP) 特徴 • 重回帰分析 • leave-one-out cross-validationによる評価 評価結果出力 イケメン度 4点 24 学会発表の様子 (抜粋) IEEE International Conference on TALE 2014, (Wellington, New Zealand: 2014/11) IEEE International Conference on SMC 2013, (Manchester,UK: 2013/10) SPIE Medical Imaging Conference 2014 (San Diego, US: 2014/2) ISVC 2015 (Las Vegas, USA, 2015/12) 研究室の日常、合宿 研究室単位の授業科目について 研究にいち早く触れ、英語、プレゼンテーション、プログラムに慣れます ゼミナールについて *後期分はPBLの単位として扱います [前期] ・洋書 「Digital Image Processing」の理解 (3,4名のグループで全訳とプレゼンテーション資料の作成) ・研究室全体ミーティング(月曜4限)への参加 [後期] ・研究室全体ミーティング(月曜4限)への参加 研究室の先輩の研究に関する調査レポートの提出(毎月) (研究への取り組む姿勢、論文のサーベイの仕方を学ぶ) 実験3 (研究室単位の実験:後期)について 画像処理、ニューラルネットワークの基礎的なプログラミングを 行い、研究のための準備を行います。 PBL(Project-based learning)の内容について UNIX(Linux)のシステム構築&管理実習を行います。 =技術者として抑えておくべき、必須サバイバルスキル [ユーザレベルでの学習] ・OSなどのinstall ~ 各種基本操作の学習 いつでも使える 2人1台のサーバ用 マシンを用意 [管理者レベルでの学習] ・OSの起動とshutdownについての理解(どのようにOSは立ち上がるのか?) ・ネットワークについての学習 (OSI7階層モデルの学習 など) - TCP/IPとは - ネットワークの構築の仕方 ・セキュリティの学習 実践的なセキュリティが学べます。 - firewallの作成 ・各種サーバの構築 gateway NISサーバ の各構築 webサーバ (apache) DNSサーバ NFSサーバ メールサーバ ・データベースの構築 MySQL (できれば) ・アプリケーションサーバの構築 Apache+Tomcat(できれば)