HMM って僕にも分かりますか？

HMM って僕にも分かりますか？
HMM って僕にも分かりますか？
篠崎隆宏
東工大
日本音響学会ビギナ ズセミナ 2013秋
日本音響学会ビギナーズセミナー2013秋
1
はじめに（確率の復習）
• 確率
– 事象の起こり易さを0から1の数値で表したもの
• 確率変数
– 試行によってランダムに値が決まる変数
試行
ダ
値が決まる変数
• ベイズの定理
P( X | Y )P(Y )
P(Y | X ) =
P( X )
2
Example
• サイコロの目
– 確率変数X : サイコロを振った時に出る目
– 確率分布
X=1
X=2
X=3
X=4
X=5
Pr(X=x) 1/6
1/6
1/6
1/6
1/6
X=6
1/6
• ピーナッツの重さ
確
確率密度
度
– 確率変数X: ピ
確率変数X: ピーナッツ１粒の重さ
ナッツ１粒の重さ
– 確率密度分布
3
2
1
0
0
0.2
0.4
0.6
0.8
ピーナツの重さX (g)
1
1.2
3
HMMとは？
Hidden Markov Model
Hidden
Markov Model
(隠れマルコフモデル) (隠れマルコフモデル)
の略です
4
では、Markov Modelとは？
では、Markov Modelとは？
• 時間と共に確率分布が変化する確率変数の
系列(X1,X2,X3, …)のモデルで、各時刻の確率
分布がその直前の変数値によって決まるもの
P( X t | X t −1 , X t − 2 , X t −3 , L)
= P( X t | X t −1 )
値 与
れれ 、
Xt‐1
t 1の値が与えられれば、
他の変数は関係ない
Andrey
Markov
1856‐1922
5
図で描くと
P( X 1 , X 2 , X 3 , L , X T )
ベイズの定理（入れ子で使用）
= P( X 1 )P( X 2 | X 1 )P( X 3 | X 1 , X 2 )L P( X T | X 1 , X 2 , L , X T −1 )
Markovモデルの仮定
= P( X 1 )P( X 2 | X 1 )P( X 3 | X 2 )L P( X T | X T −1 )
X1
X2
X3
XT
変数をノード、依存関係を枝で表すと、
線形なグラフになる
6
変数値が有限離散の場合
オートマトンや行列
オ
トマトンや行列
として表現可能
P(1|1)
1
1
P(1|N) P(N|N)
N
2
P(N|1)
N
P(2|1)
P(N|2)
P(1|2)
とすると
X t = {1,2, L N } とすると．．
2
P(2|N)
P(Xt|Xt‐1)
Xt=1
Xt=2
Xt‐1=1
1
P(1|1)
P(2|1)
P(N|1)
Xtt‐11=2
P(1|2)
( | )
P(2|2)
( | )
P(N|2)
( | )
P(1|N)
P(2|N)
P(N|N)
….
Xt=N
:
Xt‐1=N
P(2|2)
Xtが単語の場合はN‐gramと呼ばれる
7
状態が観測できない(Hiddenな)場合
P(1|1)
どの状態
にいるのか
見れない
P(1|N) P(N|N)
1
P(N|1)
N
P(2|1)
P(N|2)
P(1|2)
2
P(2|N)
P(2|2)
これだけでは余りどうしようもない。。。
8
隠れマルコフモデル (HMM)
P(1|1)
pS1 (o)
?
o
P(1|2)
pS2 (o)
P(N|1)
P(N|N)
pSN (o)
?
P(2|1)
P(N|2)
?
o
出力
信号列
P(1|N)
o
P(2|N)
P(2|2)
状態遷移に伴う
出力信号が観測可
時刻
9
状態遷移の推定
前提
•初期状態はS0、最終状態はSNで、既知とする
•T回の状態遷移を行い、遷移のたびに遷移先状態の出力確率
回の状態遷移を行 、遷移のたびに遷移先状態の出力確率
分布に従い信号を出力した
t=0
t=1
t=T
N
０
観測信号O
o1
o2
最大事後確率状態系列 K (= K (0 ), K (1), L , K (T )
)
oT
= arg max P ( K | O, HMM )
K
T
= arg max ∏ {P (K (t − 1) → K (t ) | 遷移分布[ K (t − 1)])P (ot | 出力分布[ K (t )])}
K
t =1
= S 0 , S 2 , S1 , S1 , S5 , S 2 , S 3 , L , S N
10
音声認識での利用
音素/a/
のHMM
08
0.8
10
1.0
s
07
0.7
02
0.2
s
03
0.3
2
1
s
0.1
06
0.6
s
04
0.4
4
3
pS 2 (o )
pS1 (o )
09
0.9
pS4 (o )
pS3 (o )
音響尤度
o
o
o
o
特徴量
音声信号
時刻
11
まとめ
• マルコフモデル
– 確率変数の系列のモデルで、各時刻の状態遷移
確率分布がそ 直前 時刻 変数 値
確率分布がその直前の時刻の変数の値のみに
よって決まると仮定したもの
• 隠れマルコフモデル
– 状態を表す確率変数を外部から直接観測すること
は出来ない（隠されている）とした、マルコフモデル
– 状態により決まる確率分布に従った出力信号の
状態により決まる確率分布に従 た出力信号の
観測は可
– 音声認識では隠された状態変数を音素や単語、
出力信号を音声に対応させる
12