メディア進化論 画像の利用方法

メディア進化論 画像の利用方法
ディジタル画像の仕組みと応用例
„
„
„
„
ディジタル画像の仕組み
ディジタル画像の応用例
画像理解の手順
画像理解に必要な技術（クラスタリングとパター
ン認識）
1
ディジタル画像とは？
拡大
・画像は画素（ピクセル）の集合
・各画素は明るさを表す数値を持つ
・画像は数値の集合（信号）
2
モノクロ画像とカラー画像
明るさが２５６階調
フルカラー：256×256×256=1677万7216通り
人間にとってはR, G, Bの組み合わせで十分
3
画像を直接利用する方法，バーコード類
線の太さによって数値や文字を表す識別子
一次元バーコード
横情報のみ意味がある
QRコード
Quick Response
縦と横に意味がある
見えないバーコード
人間にも読めるバーコード
赤と緑の面積比で「Ａ」を表す
4
画像パスワード
銀行の暗証番号は
数字なので
他人に盗まれやすい
画像の並びをパスワードに
他人には分かりにくい
覚えにくい
5
ステガノグラフィ，電子透かし
Steganography：秘密に通信する
埋め込まれた情報が大事
メッセージ
電子透かし
埋め込む対象が大事（画像等）
6
画像を見る，ブラウジング
所望の画像を探したい！でも見るのが大変
7
画像の分布地図を作る
デモ
8
問題点
著作権を無視したコピーや販売
有害コンテンツを含む画像やビデオの蔓延
量が莫大で目視によるチェックが不可能
画像やビデオの内容理解が必要
9
画像の内容を自動的に理解する，画像理解
画像に写っている内容を問う
雲
抽象化
飛行機
雪
山
信号を記号化・抽象化する処理のアルゴリズム化
10
なぜ人間はそれをそれと認識できるか
イデア論
例：はじめて見る椅子を椅子だとわかるのはなぜか？
生成変化する物質界の背後には永遠不変で抽象的なイ
デアという理想的な雛型があり，イデアこそが真の実在
椅子に対する永遠不滅の椅子のイデアが存在し
その影を感覚で捉えている
プラトン
（紀元前427-紀元前347)
※プラトンはあだ名
これではイデアが無数に存在してしまう
工学的にイデアを表現することはできるか？
11
画像理解と画像処理の関係
ニワトリが先か卵が先か
「正しく画像を理解するには正しく画像を処理せよ」
「正しく画像を処理するには正しく画像を理解せよ」
文字を理解するためには文字を切り出す必要あり
文字を切り出すには書かれた文字を理解する必要あり
12
画像理解の工業分野への応用例
工業製品の自動検査機
低コスト，高速性，高信頼性が要求される
実際に製品化されたものも多く
かなり成熟している分野
例）
・セラミックス部品の不良検査
・印字品質の検査
・キーボード配列検査
13
画像理解の位置づけ
画像処理
パターン
認識
物理学
画像理解
計算機科学
神経生理学
人工知能
14
画像理解の基礎と応用
画像理解の基礎技術
応用分野
工業応用
自動作業
人工知能
知識の表現と利用
パターン認識
識別理論
ロボティクス
極限作業
画像処理
画像変換
医学応用
自動診断
ソフトウェア工学
画像処理用言語
OA・印刷
文書検索
ハードウェア工学
専用プロセッサ
セキュリティ
個人認証
センサ工学
視覚センサ
知的通信
TV電話
CG
画像表示
サービス産業
プレゼン
ゲーム
15
画像理解のモデル
計算機ではどのように行うのか？
結
果
出
力
前処理
特徴抽出
判定
椅子は机の前にある
机は上を向いた面を持つ
物体より下にあり上を向く面は床
知識
椅子のモデル
16
低レベル処理
画像処理
画像処理技術により歪みやノイズを取り除く
エッジや色の分布状況等の基礎的な特徴を求める
17
中間レベルの処理
特徴抽出，クラスタリング
シーンの特徴抽出
・エッジ情報と物体形状の知識を利用した領域分割
・物体の特定に結びつくような特徴抽出
18
高レベルの処理 モデルの比較
パターン認識
知識（モデル）
物体認識
椅子
比較
テーブル
この物体は何か？
絨毯
・
・
・
19
高レベルの処理 ラベルの付与
コンテキスト認識
シーン全体の記述
物体認識の曖昧さを取り除く
テーブル
椅子っぽい
テーブルの前に椅子があることが多い⇒椅子
20
画像やビデオは数値の並び
（12, 3, 2.5）
数値の数と同じ次元数の空間の一点
3つの数値からなるデータは3次元空間の一点
21
クラスタリング
クラスタリング：似ているデータ同士をグループ化
1
1
4
0.8
0.8
5
0.6
0.6
y
y
1
0.4
0.4
0.2
0.2
0
0.2
0.4
0.6
x
0.8
1
0
3
2
0.2
0.4
x
0.6
0.8
1
22
ハードクラスタリング，k-means
12
10
8
6
4
2
0
-2
-4
-6
-6
-4
-2
0
2
4
6
8
K個の平均(means)でk個のクラスタに分ける
23
計算機にとっては難しい問題
2
2
1
1
0
0
-1
-1
-2
-2
-1
0
1
2
-2
-2
-1
0
1
2
「円のような」といった概念が分からない
K-meansではできない
24
どのようにしてグループに分けるか
A
A
ideal boundary
D
F
C
E
B
C E
D
F
F
B
B
D
E
F
A
F
E
D
B
C
C
B
A
2nd
iteration
3rd
iteration
linear boundary
E
A
D
C
d-dimensional input space
initial 1D
space
1st
iteration
25
点のグループを分ける
26
点を分けるのと同じ方法で画像を領域に分割
27
点を分けるのと同じ方法でビデオを分割
1
2
3
4
5
6
7
8
9
10
11
12
13
label values
``mjackson.mpg''
13
12
11
10
9
8
7
6
5
4
3
2
1
0
100
200
300
400
500
frame number
600
700
28
二つのグループを分けるにはどうしたらよいか
パターン分類
20
10
8
class 2
class 1
15
6
10
4
5
2
x2
0
x2
-2
0
-5
-4
-10
class 1
-6
-15
-8
-10
-10
-5
0
x1
5
10
-20
-10
class 2
-5
0
5
10
x1
29
線を引いてわける
10
20
8
15
6
10
4
5
2
x2
0
x2
-2
0
-5
-4
-10
-6
-15
-8
-10
-10
-5
0
x1
5
10
-20
-10
-5
0
5
10
x1
30
どうやって線を引けばよいか？
x2
20
20
15
15
10
10
5
5
0
x2
0
-5
-5
-10
-10
-15
-15
-20
-20
-10
-5
0
x1
最小距離法
5
10
-10
-5
0
5
10
x1
サポートベクターマシン
31
パターン認識の応用例
例：手書き数字文字認識
０
5
1
6
２
7
この数字は何？
３
8
未知パターン
４
9
比較
知識（学習パターン）
対応付け
概念
32
顔画像認識
これは誰か？
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
33
3次元物体認識
招き猫はどこ？
どこに何がどんな状態で存在するか？
34
パラメトリック固有空間法
θ =0
θ = 20
θ = 40
L
θ = 300 θ = 320 θ = 340
知識の表現方法に特色
画像列を固有空間に投影
画像列を点と曲線で表現
村瀬，S.K.Nayar，２次元照合による３次元物体認識-パラメトリック固有空間法信学論、J77-D-II, 11, pp.2179-2187, 1994
35
固有空間への射影
画像列を3次元の固有空間に投影する場合
画像列から共分散行列を算出
，
，
(
(
×
= (0.0337 0.3029 -0.0014)
共分散行列の固有ベクトルとの内積値が固有空間での座標値
36
3次元物体の固有空間表現
θ = 40
θ
θ =0
θ = 20
取得していない角度を曲線で補完⇒未知の画像でもOK
37
パラメトリック固有空間法による物体認識
入力画像
最も近い曲線までの距離を計算し，最小のカテゴリーを出力
θ = 60
θ = 50
正しくないカテゴリー
正しいカテゴリー
38
顔画像や手書き文字以外の画像理解
39
一般画像認識はなぜ難しいか？
40
41
何がどこにいくつあるか？
42
向きの不変性
Michelangelo 1475-1564
43
光源に対する不変性
slide credit: S. Ullman
44
隠れに対する不変性
Magritte, 1957
45
大きさに対する不変性
46
デフォルメに対する不変性
Xu, Beihong 1943
47
用途に対する不変性
48
克服できればどんなことが可能か
49
まとめ
„
„
画像は見るものから道具へ変化
画像やビデオの内容を理解できればさまざま
なサービスが実現可能
次回は画像の内容理解の最近の話題を紹介
局所特徴量
AdaboostとSupport Vector Machine
Bog-of-keypoints
50