j - 柳井 研究室

Multiple Kernel Learning
による50種類の食事画像の認識
電気通信大学 情報工学専攻
上東太一， 甫足創， 柳井啓司
IS1-24
背景
画像特徴量
◆健康管理への関心が高まっている
食事管理の方法
手書きによる記入
してユーザ自身が栄養バランスをチェック
WEB上で料理を選択
管理栄養士に食事画像を送り、アドバイスを受ける
簡単に食事内容を記録できるシステムがあると便利
◆局所特徴
評価実験
◆データセット
・SIFTを使用
・特徴点は3タイプの選択方法
・Bag-of-Keypoints表現を用いて
局所特徴の出現頻度ヒストグラムで
画像を表現する
・それぞれ1000次元と2000次元の
ヒストグラムを作成する（計6種）
・50種類のカテゴリ
・各100枚の人手で選んだ画像
◆多種類食事画像認識システム
食事画像認識手法の提案
システムプロトタイプの作成
DoG検出
認識方法
ランダム検出
グリッド検出
◆多クラス分類
◆MKLで学習した特徴の重み
1-VS-RESTによる他クラス分類
学習
あるクラスとそれ以外を分ける分類器を
クラスの数だけ作る
分類
すべての分類器にテストデータを入力して
出力値の最も大きいクラスに分類
ハンバーガー
分類器
ステーキ
分類器
…
そば
分類器
0.32
1.02
…
-0.62
・各カテゴリで適切な特徴量の割合
を学習した結果
◆色特徴
・RGB色空間を使用
・画像を4分割して、それぞれ
64色のヒストグラムを作成
・64x4=265次元のヒストグラム
◆平均分類率
◆特徴統合
本研究で用いた特徴量
◆ガボール特徴
・局所特徴のBag-of-Keypoints
・色特徴のヒストグラム
・ガボール特徴のヒストグラム
・6方向、4周期のガボールフィルタで
特徴抽出
・画像を3x3、4x4に分割
・216次元、384次元のヒストグラム
Multiple Kernel Learning
複数のSVMカーネルに対し最適な重みを学習し
線形結合し、一つのカーネルと見なす事で
特徴統合を行う事ができる
システムプロトタイプ
各サブカーネルをそれぞれの特徴と対応させ、
特徴統合に用いる
色特徴のカーネル テクスチャ特徴のカーネル
…… etc
結合
最終的なカーネル
クラスターで
並列計算
◆システムの評価
・約10ヶ月、試験的に運用
166枚の画像がアップロードされた
システムの認識精度
st
rd
th
1 ：37.35% 3 ：55.42% 5 ：57.23%
まとめ
◆料理の種類を認識する手法を提案
-50種類で61.34%の分類率を達成
-3位までの分類を許容すると80%を超える
MKLのアルゴリズム
◆システムのプロトタイプを作成
単一カーネルのSVM学習の反復による解法
１．最初に重み  j を均等にする
２． j を固定し、結合カーネルを単一カーネルと
みなし、通常のSVM学習を行い
 i(i  1 N ), b を求める
３．求めた  i を固定して k 1  k Sk ( )
が増加するように  j を微小に変化させる
K
４．終了条件に達するまで（２）（３）を繰り返
す
◆本研究のプロトタイプ公開中◆
携帯カメラで撮った食事画像を
添付してメールを送信してください
50種類バージョン
[email protected]
85種類バージョン（現在開発中）
[email protected]
-37.35%の分類率
-3位までを許容すると55.42%
◆今後の課題
・認識対象の増加
現在85種類の物を開発中
・精度の向上
他の特徴量を組み合わせる
・速度の向上
使う特徴量の取捨選択