カメラ画像を用いた 植物体の識別

カメラ画像を用いた
植物体の識別
九州大学大学院
システム情報科学研究院
髙野 茂
アグリコラボいとしま 第２回ワークショップ
平成２２年１２月１７日
発表内容
研究紹介
画像に基づく情報検索
植物図鑑検索
花画像による図鑑検索（総務省、四箇田小学校）
葉画像に基づく種の同定（旭硝子財団助成）
病害虫に関する画像検索システム
携帯電話を使った新しい情報検索サービ
スに向けて
画像に基づく情報検索
インターネット上にある情報を探す。
糸島 いちご
検索
調べたい情報のキーワードを入力
画像に基づく情報検索
キーワードを元に画像
画像を探すと。。。
画像
画像に基づく情報検索
画像を元に画像（情報）を探したい。
？
画像に基づく情報検索
画像の類似度を測ることができれば、
画像データに紐づけられた情報を得ることができる。
質問画像
！
画像A
質問画像は
画像Aに似て
いる。
コスモスは、キク科コスモ
コスモ
コスモス
ス属の総称。アキザクラ
アキザクラ
（秋桜）とも言う。秋に桃
色・白・赤などの花を咲か
せる。花は本来一重咲きだ
が、舌状花が丸まったもの
や、八重咲きなどの品種が
作り出されている。．．．
画像B
アサガオは、ヒルガオ科
アサガオ
サツマイモ属の一年性植
物。つる性。日本で最も
発達した園芸植物。古典
園芸植物のひとつでもあ
る。真夏に開花し、花は
大きく開いた円錐形で、
おしべ５、めしべ１を有
する。．．．
画像に基づく情報検索
質問画像
質問画像
は．．．
インターネット上の画像は日々増加している！
画像に基づく情報検索
画像B
質問画像
質問画像は
画像Aに似ている
（１秒）。
画像A
特徴量の例
・色
- 赤色 ６５％
- 緑色 １５％
- 青色 ２０％
・形
- 円形度 ０．６
- フラクタル統計量
・表面
- ウェーブレット統計量
・場所（GPS情報）
- 室見川周辺
特徴量の例
・色
- 赤色
５％
- 緑色 １５％
- 青色 ８０％
・形
- 円形度 ０．７
- フラクタル統計量
・表面
- ウェーブレット統計量
・場所（GPS情報）
- 室見川周辺
コンピュータは画像データを特徴に基づき数値化し、
特徴量を高速に照合する。
画像に基づく情報検索
画像の客観的な特徴（コンピュータが計算可能な数値データ）と
人間が感じる主観的な特徴には大きなギャップがある。
特徴量の例
・色
- 赤色 ６５％
- 緑色 １５％
- 青色 ２０％
・形
- 円形度 ０．６
- フラクタル統計量
・表面
- ウェーブレット統計量
・場所（GPS情報）
- 室見川周辺
コスモスは、桃
コスモス
色・白・赤など
の花を咲かせる。
花は本来一重咲
きだが、舌状花
が丸まったもの
や、八重咲きな
どの品種が作り
出されてい
る。．．．
融合
主観的特徴
客観的特徴
主観的特徴と客観的特徴を融合する
新しい図鑑検索システムを構築！
花画像による図鑑検索システム
知識データベース
四箇田小学校に
協力を要請
四箇田小学校
小学校に協力を
特徴ＤＢ
特徴ＤＢ
を更新
（自動回答）
自動回答）
タンポポだよ
タンポポだよ！
だよ！
なんだろ
う？
②質問を
質問を確認
①１次回答
ブタナだよ！
図鑑検索サーバ ブタナだよ！
そっくりだよね。
そっくりだよね。
SNS
小学生など
そっくりだよね。
こういう特徴
特徴もあるよ
こういう
特徴もあるよ。
もあるよ。
③２次回答 + 補足、
補足、アドバイス
専門家
花画像による図鑑検索システム
四箇田小学校での実証実験風景
室見川周辺において１年間に４回実施
「冬」平成21年 11月27日
「春」平成22年 4月26日
「夏」平成22年 9月10日
「秋」平成22年 10月15日
実際に撮影してもらった花画像（一部）
花画像による図鑑検索システム
SNSを利用した植物の専門家のための画像データベース
管理システムの構築
タイトル：（
タイトル：（花
名前）
：（花の名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
名前）
：（花の名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
名前）
：（花の名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
名前）
：（花の名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
名前）
：（花の名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
：（花の名前）
名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
：（花の名前）
名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
：（花の名前）
名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
：（花の名前）
名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
タイトル：（
タイトル：（花
：（花の名前）
名前）
日時：
日時：2009年
2009年11月
11月27日
27日
撮影場所：
撮影場所：室見川周辺
コメント
領域指定
□ 良い画像（
画像（写真）
写真）
□ 削除
花画像による図鑑検索システム
平成２１年度～２２年度「戦略的情報通信研究開発推進制度（SCOPE）」
葉画像からの種の同定
Acer japonicum ?
Acer pictum ?
平成２２～２４年度「旭硝子財団課題研究助成」
病害虫システム
？
質問画像
イチゴうどんこ病
イチゴ疫病葉
適切な処置法
農家（初心者？）
SNS
農家（ベテラン）
携帯電話を使った新しい情報検索
サービスに向けて
•「画像」を検索
キーとし、安全･安
心にオンライン図
鑑検索を利用可能。
•新しい画像情報を
図鑑データベース
に提供。
専門家
（研究者）
ユーザー（一般市民）
次世代図鑑検索システム
•オンライン図鑑データベース
の充実。
•膨大な図鑑データの整理。
•膨大な画像情報から新し
い発見の可能性。
•専門家の知識をオンライ
ン図鑑検索システムへ反映。
•ユーザーが安全･安心に利
用できる図鑑検索システム
を提供。
群衆の叡智（社会）
画像に基づく新しい知識データベースを
次世代に伝えていきたい。