...

オンライン手書き文字認識HMMにおける 座標情報と方向情報の利用法と

by user

on
Category: Documents
15

views

Report

Comments

Transcript

オンライン手書き文字認識HMMにおける 座標情報と方向情報の利用法と
オンライン手書き文字認識HMMにおける
座標情報と方向情報の利用法と効果
九州大学大学院システム情報科学府
知能システム学専攻 修士2年
迫江・内田研究室
奥村 大樹
HMMによる従来の
オンライン文字認識
オンライン文字
128
t
0
0
128
d i : 方向情報
xi : 横座標情報 10 40 60 80 100 105 105 100
20
yi : 縦座標情報 90 95 100 105 110 80 50
t
3
従来のHMM(線分方向情報出力型HMM)
stop
start
L
1
d i : 方向情報
d1 d2
xi : 横座標情報
x1 x 2
yi : 縦座標情報
y1 y 2
L
i
dt
d t +1 dt +2
xt
xt +1 xt +2
yt
yt +1 yt +2
L
N
dT
L
xT
yT
4
方向情報が使われる理由
stop
start
1
2
t
方向情報は線分内でほぼ一定
1線分を1状態で表現できる
5
座標情報が使われない理由
start
1
2
x1
x2
x3
y1
y2
y3
L
t
座標情報は常に変化
1線分を1状態で表現しにくい
6
座標情報の必要性
z筆順自由化時に,方向情報のみでは
特徴量として不十分
{以下の漢字は方向情報が同じ
「因」
「合」
7
目的
z座標情報(非定常的)と方向情報(定常的)を
それぞれの特性に合わせて使い分けるHMM
を提案
{「線分始点座標+方向情報出力型HMM」
z筆順自由認識手法への埋め込み
{「キューブサーチHMM」
8
線分始点座標+方向情報出力型
HMM
基本的な考え方
z線分の始点座標を次状態への遷移時に出力
{1線分につき1回だけ出力
z方向情報を自己遷移時に出力
{線分の長さだけ繰り返し出力
z基本的に一つのストローク(画)を表現
10
線分始点座標+方向情報出力型HMM
stop
start
L
1
d i : 方向情報
d1 d2
xi : 横座標情報
x1 x 2
yi : 縦座標情報
y1 y 2
L
i
dt
d t +1 dt +2
xt
xt +1 xt +2
yt
yt +1 yt +2
L
N
dT
L
xT
yT
11
提案手法のイメージ
「口」の第2画
stop
start
1
2
12
本手法による「口」の第2画の学習結果
13
1画化した漢字を用いた
認識実験
実験の目的
z本手法「線分始点座標+方向情報出力型
HMM」の基本的性能の評価
z従来法「線分方向情報出力型HMM」との比較
いずれも1画を表現するモデル
前処理により1画化した文字を対象
15
実験データ
z筆順の正しい10画漢字70文字種
z前処理により1画化した文字を対象
zデータセットA
「案」の1画化文字
{当研究室の内部データ/筆記者30人分
{学習・認識に利用
zデータセットB
{HANDS-kuchibue_d-97-06-10/筆記者10人分
{認識のみに利用
16
状態数の決め方
z文字ごとに手動で決定
状態数
23
「恩」を1画化したモデル
17
認識率の比較
データセット
従来法
本手法
A
99.9%
100.0%
B
99.3%
99.9%
18
座標情報の利用による改善例
従来法で
誤認識した例
息
方向情報は
同じだが
位置は異なる
従来法による
マッチング部分
「恩」→「息」
19
全情報出力型HMMとの認識率の比較
stop
start
L
1
d i : 方向情報
d1 d2
xi : 横座標情報
x1 x 2
yi : 縦座標情報
y1 y 2
データセット
全情報出力型
本手法
L
i
dt
d t +1 dt +2
xt
xt +1 xt +2
yt
yt +1 yt +2
A
89.5%
100.0%
L
N
dT
L
xT
yT
B
81.2%
99.9%
20
筆順自由認識手法への埋め込み
(キューブサーチHMM)
筆順変動
z入力された順番の通りに比較はできない
2
入力
3
1
標準
1
3
4
2
4
画の対応付けにより,筆順自由認識が可能に
22
キューブサーチ法
z最適画対応問題の解法の一種
z全ての画対応を表現するグラフを利用
{キューブサーチグラフ
zそのグラフ上での最適経路として,
最適画対応を出力
23
キューブサーチグラフ(「木」の場合)
各経路が一つの
画対応付けを表現
2
φ
3
0
入力画番号
1
2
3
1
4
4
24
キューブサーチへのHMMの埋め込み(1)
各エッジの評価値
=HMMによる
各ストロークの尤度
…
φ
評価値を最大化する
経路を求める
0
入力画番号
1
25
キューブサーチへのHMMの埋め込み(2)
筆順生起確率
φ
各エッジの評価値
=筆順生起確率
×HMMによる
各ストロークの尤度
0.05
0.05
…
0.2
0.7
0
入力画番号
評価値を最大化する
経路を求める
1
確率的な枠組みで,
ストロークの尤度ならびに
筆順変動を統一的に表現
26
キューブサーチHMMの動作(「木」の場合)
0.1
φ
0.1
0.2
0.05
0
入力画番号
1
2
3
4
27
キューブサーチHMMの動作(「木」の場合)
0.1
φ
0.1
0.2
0.16
0.05
0.08
0.1
0
入力画番号
1
2
3
4
28
キューブサーチHMMの動作(「木」の場合)
0.1
φ
0.1
0.2
0.16
0.05
0.08
0.27
0.1
0
入力画番号
1
2
3
4
29
キューブサーチHMMの動作(「木」の場合)
0.17
φ
0.1
0.22
0.29
0.1
0.17
0.32
0.2
0.18
0.35
0.05
0.18
0.41
0.55
0.27
0
入力画番号
1
2
3
4
30
キューブサーチHMMの
評価実験
実験の目的(1)
従来法
(方向のみ)
φ
本手法
(座標+方向)
…
比較
φ
…
32
実験の目的(2)
学習により
各々決定
一定
筆順
生起確率
φ
…
比較
0.05
0.05
φ 0.2
0.7
…
33
実験データ
z筆順自由な10画漢字70文字種
z1画化の前処理は行わない
zデータセットA
「案」
{当研究室の内部データ/筆記者30人分
{学習・認識に利用
zデータセットB
{HANDS-kuchibue_d-97-06-10/筆記者10人分
{認識のみに利用
34
認識率の比較
筆順生起確率
データセット
従来法
本手法
不使用
A
26.7%
97.7%
「因」
使用
B
26.4%
93.9%
「合」
A
79.9%
98.5%
B
82.0%
97.4%
35
座標情報の利用による改善例
従来法で
誤認識した例
能
方向が同じだと
位置を無視して
対応する
従来法による
画対応
「素」→「能」
36
まとめ
z座標情報と方向情報をHMMの定常性に
矛盾なく利用する方法を提案
z筆順生起確率を用いたキューブサーチHMM
を提案
z提案手法の有効性を確認
37
今後の展開
z 大規模データセットを利用した学習・認識実験
z キューブサーチHMMの学習法の検討
{現在は各ストロークHMMを学習し,固定した後,筆順生起
確率を求める2段階の学習法
z 混合正規分布の導入
{現在は出力確率を正規分布で近似
z 画の終点座標の利用
z 画数自由化
38
Fly UP