自然科学の方法 (1) Apr.11.2008

知的情報処理研究室
Intelligent information processing lab (IIPL).
since 2010
理工学部 応用情報工学科
彌冨 仁 （いやとみひとし）
[email protected]
http://iyaomi-lab.info
南館 S603（学生研究室） / S604(いやとみ居室）
研究室の概要
研究テーマと目的
Deep Learning
・コンピュータによる高度知的情報処理の実現
「学習するコンピュータ」
人間に近づく
「人間のような判断ができる」 etc.
・人間には難しい問題に対して、支援を行うシステムの開発
人間を支える
・世の中を変える新しい技術の開発
・各種画像処理
・生命を模倣した新しい情報処理
・ネットワーク技術 などを切り口にして 新しい価値の創造を目指す！
構成人数
(2015年度）
教員１名
大学院2年生 5名
大学院1年生 3名
学部4年生
8名
研究室の対外的な活動
現時点までの対外的成果 （2016/3月現在)
原著論文
：
国際会議論文：
国内研究会などでの発表：
46件 （うち英文誌33件）
56件
約80件
現在の外部研究資金: project
・文部科学省 科学研究費補助金 基盤研究C (平成26-28年)
「識別の根拠が提示できるメラノーマ自動識別技術の開発」
・科学技術振興機構（JST) A-STEP Feasibility study (平成28-29年)
「農作物における病気の画像診断システムの構築」
これまで他に
科研費5件、JST(科学技術振興機構）の研究助成5件、企業からの受託・寄付研究 数件
共同研究先
・慶應義塾大学医学部 皮膚科学教室
・東京女子医科大学医学部 皮膚科学教室、病理科学教室
・東海大学医学部 放射線科学教室
・埼玉県農林総合研究センター
・Louisiana State Univ., Dept of Computer Science & Engineering (米）
・Loughborough Univ., Dept of Computer Science (英）
・University of Queensland, School of Medicine Dermatology group（豪）
・Second University of Naples, Dept of Dermatology（伊）
他多数
Laboratory policy & vision
We trust and respect for individuals.
お互いを信頼し、尊重します。
We achieve our common objectives through teamwork.
目標に向かってみんなでがんばります。
We open the door.
いつでも相談どうぞ （いるときは）ドアは空いています。
みんなで楽しくpower upできる研究室でありたい
「よく学び よく遊べ」
いやとみは
いい研究を行うためのいい環境の整備
および機会を提供できるよう最大限努力します
（いい環境があれば、がんばれる！＝だから頑張って！）
１人１人が、外に出せる成果を生み出せる力をもつ研究室でありたい
研究、研究室生活を通じて、広く求められる人材になる
（大学院生になったら、国際会議デビューならびに
1人1編（以上）のJournal論文を目指す）
機械学習のパラダイム変化
従来の識別システム
入力
特徴
特徴抽出
識別結果
識 別
・各種識別モデル
×手動で設計
×面倒な前処理が必要
（領域抽出など）
深層学習 (deep learning)
識別に必要な特徴を自動で獲得 識別結果
特徴抽出+識別
特徴抽出部
Input
C1
C2
C3
・たたみ込み処理(convolution)
・統合・選択処理(pooling)
・局所コントラスト標準化処理
識別部
C4
C5
F6
F7
Output
従来のneural network
と同様の構造
人間の視覚と同様、画像の局所領域ごとの処理を階層的に行う
→ 画像の中の“特徴”を自動的に学習する
Deep Learningを用いた植物病自動診断(1)
簡単、便利、安価な植物病診断システムを作って、
世界の農業、そして世界の食糧事情を良くしたい！
→植物と機械学習に専門性をもつ研究者が1つのチームに！
ぼくらには情熱と技術的な実績がある！
（メラノーマ（皮膚がん）の自動診断システム*を世界中の皮膚科医に公開して10年）
*http://dermoscopy.k.hosei.ac.jp
＋Deep Learning技術の台頭
よし！
新しい技術を使って画像診断システムを作ろう！
→ きゅうりウィルス病の自動診断システムを試作
MYSV
ZYMV
CCYV
CMV
HEALTHY
葉の写真を撮るだけで
すべて（7種）のウイルス病と
健全葉を約83％の精度で識別
できるシステムを実現！
7
Deep Learningを用いた植物病自動診断(2)
Deep Learning技術を植物病自動診断に応用して、
世界の農業と食糧事情を改善する！
2015/ 7/18
13:00
N 35.7122
E139.5222
smart phone
smart phone
(70%)
(20%)
(10%)
Phase 1: Smart Phoneでのお手軽診断
2D
・より多くの病害
・より多くの食物に対して
・早い、安い、確か
Phase 2: 定点観測orドローン等に
応用した大規模観測
・植物工場対応
・大きな経済効果
→未来の世界では常識？
Phase 3: 経時変化の解析追加
・植物の健康管理システム
8
→常に画像を取り入れ、診断技術を自己学習する機能の実現
より便利につかえるDeep Learningのモデル開発への挑戦
Adaptive Stride Convolution Network (ASC-net)の検討
 SPP-netはプーリングベースの処理

学 習 型 の 畳 み 込 み ベ ー ス の 手 法 は 提 案 さ れ て い な い
一般的なPoolingをストライド幅2の畳み込みに置き換えると精度向上
[4]
 畳み込みのストライド幅を入力サイズに応じて動的に変更

k
どのような入力サイズに対しても一定サイズの特徴マップを出力
lengthin
stride
feature maps(any size)
lengthout
[4] J. T. Springenberg, A. Dosovitskiy, T. Brox, and
M. Riedmiller. ” Striving for Simplicity: The All
Convolutional Net,” ICLR Workshop Track, 2015.
quantized feature(fixed size)
動画像処理・認識 応用
動画像解析による剣道熟練度の定量評価
input
C1 Max
pooling
Average
C2 pooling
Average
C3 pooling
48
50
7
7
dense
24
5
50
3 maps (RGB) 35 maps
12
5
5
48
output
5
24
50 maps
concentrate.
no-concentrate.
12
no exist
64 maps
3 outputs
学生の検出精度
約80%
状態の推定精度 約70%
動画像解析による授業集中度の定量評価
Deep Learning と画像解析を用いた授業中の学生の集中度自動推定
入力
 各CLAのCNNによる推定結果を出力
(集中/非集中/
)
聴講者候補領域(CLAs)
検出部
集中度推定部
出力
11
新聞メディアの視覚的分類 (ビッグデータ解析:テキストマイニング）
(目的）特定のキーワードに対して新聞社がどういった立場で
記事を書いているかを自動分類しmappingする。(メディア理解・分類）
メディアの立ち位置を知ることで
社会情勢への深い理解が得られる
構成技術要素：
・記事の内容解析 （記事の数値化）
- 形態素解析＋各種辞書
- 記事の立場の推定（多変量解析）
独自のWatermarkingを利用した、「紙とデジタルの融合」
Watermarkingとは・・・
文書や画像に、見た目ではわからないように
秘密の情報を埋め込む
情報の埋め込み
（見た目変わらず）
⇒受け取った人が、秘密の内容を受け取る
文書に対する独自のWatermarkingを開発
文書と同じ内容を埋め込めば・・・
⇒ 紙に印刷した情報の
再デジタル化が実現
・超高性能ＯＣＲへの応用
(optical character reader)
印刷した文書も再デジタル化
・著作権保護などへの応用
法政大（いやとみ研）で稼働中
（世界初）Internet-based メラノーマ（皮膚がん） 自動診断システム
○ web上での自動診断（支援） 24hours-365days
→ 患者の早期発見、スクリーニング
○ 腫瘍データベース
→ 研究者への腫瘍データの公開、標準化
http://dermoscopy.k.hosei.ac.jp
全世界中の皮膚科医から利用されている
腫瘍領域抽出
パラメータの計算
ダーモスコピー画像
識別器による分類
診断結果
（0～100の悪性度）
データベースへの登録
通常部位の腫瘍の検査結果例 （メラノーマの例）
・約3-5秒程度で結果を表示
皮膚がんによる
死者低減へ
入力した画像と
腫瘍部分の自動抽出結果
悪性スコア 69.2 / 100
と判定結果 （悪性）
スコアが50以上を
「悪性」と判定
→正しく「悪性」と判断
識別性能評価
ROC curveによる評価
感度 (%)
一般腫瘍の判別
手掌・足底腫瘍の判別
熟練皮膚科医の診断精度
線が左上にあるほど
判別性能が良い
100-特異度 (%)
一般腫瘍
ROCカーブの下部面積
（0～1:大きいほど良い）
感度=85.9%, 特異度=86.0%, AUC=0.928
手掌・足底腫瘍 感度=93.3%, 特異度=91.1%, AUC=0.933
→数値の上では、熟練皮膚科医と同等以上の判別精度を実現
メラノーマ自動識別と関連する周辺領域の研究例
・ ヘルスケア（美容）分野
実施例： ・美白薬剤の効果定量
・肌質の定量評価 （画像による保湿量、キメの細かさの定量）
0w
4w
肌の拡大画像
12w
偏光フィルタ
*
**
*
C群
A群
* D群
* B群
肌の拡大画像
皮膚画像のみから、
肌のキメの細かさ、保湿量の推定
リスク予測 （１）
0.95
・手術前、心臓事故のリスク予測
+SPECT
+SPECT
0.85
予測能
0.75
Hard event
0.65
SPECT+
SPECT SVM
SPECT+
SVM
linear
All event
SPECT linear
核医学検査(SPECT)と、学習モデル(SVM)の応用により、
手術中の致死的な心臓事故(Hard Event)の約９割を予測可能に
リスク予測 （２）
・軽度認知症患者の認知症移行の予測
脳血流量に関する新しい定量的な解析手法を用いることで、
軽度認知機能障害患者の
認知症移行を、高精度で予測可能に！
１年以内の移行
３年以内
５年以内
感度
（％）
特異度
（％）
87.0
89.0
90.4
75.9
79.6
88.5
vbSEE: voxel-based analysis
stereotactic extraction estimation
１年以内の発症をおよそ８割、５年以内の発症を約９割で予測可能に
→ 適切な治療により、発症を遅らせる or 防ぐことに貢献
「超解像度技術」 super resolution
多眼カメラを用いた超解像ー撮像デバイスの低コスト化
「超解像度技術」 super resolution
N

Xˆ n 1  Xˆ n    FkT H kT DkT sign( Dk H k Fk Xˆ n  Yk )
 k 1
P
P
   
l   P m 0
𝑋𝑛 : 推定高解像度画像
𝑌𝑘 : 観測低解像度画像
𝑁 : 画像枚数
𝑛 : 繰り返し処理回数
α,β,λ: 重み付け係数
m l

 

l m ˆ 
ˆ
I  S S sign X n  S x S y X n 

m
y





l
x
𝐷𝑘 : ダウンサンプリング
𝐻𝑘 : ぼけ関数
𝐹𝑘 : 位置合わせ処理
S qp : q方向にpピクセルシフト
sign(): 符号関数
* S. Farsiu, D. Robinson, M. Elad, P. Milanfar, “Fast and Robust MultiFrame Super-Resolution,“IEEE Trans. Image Processing, vol. 13, no. 10,
pp. 1327-1344, Oct. 2004.
処理前
超解像処理後
動画解析による、対話中の「くせ」の検出＆定量化
・5分程度の会話
・主成分分析＋wavalet変換
人による「くせ」の動画評価を
referenceと仮定：
→ 8割程度の精度、再現度
顔画像の入力
• 顔領域の抽出
• 目・鼻・口領域の抽出
• 目、鼻、口の部位特徴
• 髪面積
• Local Binary Pattern (LBP) 特徴
• 重回帰分析
• leave-one-out cross-validationによる評価
評価結果出力
イケメン度
4点
24
学会発表の様子
(抜粋）
IEEE International Conference on TALE 2014,
(Wellington, New Zealand: 2014/11)
IEEE International Conference on SMC 2013,
(Manchester,UK: 2013/10)
SPIE Medical Imaging Conference 2014
(San Diego, US: 2014/2)
ISVC 2015
（Las Vegas, USA, 2015/12）
研究室の日常、合宿
研究室単位の授業科目について
研究にいち早く触れ、英語、プレゼンテーション、プログラムに慣れます
ゼミナールについて
＊後期分はPBLの単位として扱います
[前期] ・洋書 「Digital Image Processing」の理解
（3，4名のグループで全訳とプレゼンテーション資料の作成）
・研究室全体ミーティング（月曜４限）への参加
[後期] ・研究室全体ミーティング（月曜４限）への参加
研究室の先輩の研究に関する調査レポートの提出（毎月）
（研究への取り組む姿勢、論文のサーベイの仕方を学ぶ）
実験３ （研究室単位の実験：後期）について
画像処理、ニューラルネットワークの基礎的なプログラミングを
行い、研究のための準備を行います。
PBL(Project-based learning)の内容について
UNIX（Ｌｉｎｕｘ）のシステム構築＆管理実習を行います。
＝技術者として抑えておくべき、必須サバイバルスキル
[ユーザレベルでの学習]
・OSなどのinstall ～ 各種基本操作の学習
いつでも使える
２人１台のサーバ用
マシンを用意
[管理者レベルでの学習]
・OSの起動とshutdownについての理解（どのようにOSは立ち上がるのか？）
・ネットワークについての学習 （OSI７階層モデルの学習 など）
- TCP/IPとは
- ネットワークの構築の仕方
・セキュリティの学習
実践的なセキュリティが学べます。
- firewallの作成
・各種サーバの構築
gateway
NISサーバ
の各構築
webサーバ (apache)
DNSサーバ
NFSサーバ
メールサーバ
・データベースの構築 MySQL （できれば）
・アプリケーションサーバの構築 Apache+Tomcat（できれば）