空中手書き文字の認識と筆記者の識別に関する

一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
バイオメトリクス研究会資料
Proceedings of Biometrics Workshop
BioX2013-P19（2013-05）
空中手書き文字の認識と筆記者の識別に関する検討
— 加速度時系列特徴量を用いた手法 —
大坪由香利†
吉田
大樹†
中井
満†
† 富山県立大学 工学部 〒 939–0398 富山県射水市黒河 5180
E-mail: {t254004,t354016}@st.pu-toyama.ac.jp, mitsuru [email protected]
あらまし
空中に文字を書く動作の加速度信号から文字種の認識と筆記者の識別を行う．文字の認識では，不特定の
筆記者に対して個人性を除去する必要がある．一方，筆記者の識別には個人性が重要となる．ひらがなを対象に，文
字の認識実験と筆記者の識別実験を行い，それぞれに有効な特徴について検討した．
キーワード 手書き文字認識，空中手書き，筆記者識別，加速度センサ
A Study on Aerial Handwritten Character Recognition and
Writer Identification: Acceleration Feature-based Approach
Yukari OTSUBO† , Taiki YOSHIDA† , and Mitsuru NAKAI†
† Faculty of Engineering, Toyama Prefectural University
5180, Kurokawa, Imizu-shi, Toyama, 939–0398, Japan
E-mail: {t254004,t354016}@st.pu-toyama.ac.jp, mitsuru [email protected]
Abstract This paper focuses on aerial handwriting interface and describes effective features for handwritten
character recognition and writer identification. In character recognition, writer individuality should be removed.
However, the individuality is important in writer identification. This paper reports experimental results on the
effective preprocessing for character recognition and writer identification.
Key words handwritten character recognition, aerial handwriting, writer identification, acceleration sensor
軸はそれぞれの軸の加速度 [g] である．文字「あ」では，xz 面
1. は じ め に
に広がるような軌跡を描いているのに対し，文字「い」では z
近年，スマートフォンやゲームのリモコンなど，加速度セン
軸方向に長く広がるような軌跡となっている．この様に，同じ
サを内蔵した機器が普及しており，加速度センサを利用した
文字種であれば筆記者に依らず，大まかな形状が似ていること
ジェスチャーインタフェースが提案されている．例えば，空中
が分かる．このため，直接筆跡を観測しなくても，加速度信号
に文字を筆記する動作による文字の認識 [1] や個人の認証 [2] が
から文字の認識が可能である．しかし，筆記者 A と筆記者 B
ある．文字の認識の場合，空中に書かれた文字には個人性が含
では同じ文字種であっても大きさに違いが見られる．また，文
まれており，それらを除去する処理が必要である．一方，筆記
字「い」では，加速度の分布の広がりに約 17 °の違いがある．
者の識別には個人性が重要となる．本稿では，空中手書きによ
これは，筆記の勢いや筆記具の持ち方（筆記者に対する筆記具
る文字の認識と筆記者の識別について，それぞれに有効な前処
の傾き），字形，筆記の姿勢（空間に対する筆記者・筆記具の
理について検討したので報告する．
傾き）が筆記者によって異なるためである．このような，空中
筆記の加速度信号に含まれる個人性を利用して，筆記者の識別
2. 空中筆記動作の加速度信号
ができると考えられる．
3 軸加速度センサを内蔵した任天堂の Wii リモコンを筆記具
とし，図 1 のように空中に文字を書く．この筆記動作の加速度
3. 空中手書き文字の認識
信号を 10 ミリ秒間隔で収集した．センサの座標系は図 2 の通
3. 1 文字認識手法
り，xz 面が筆記面，y 軸がペン先方向である．図 3 にひらがな
本研究では壁向きに筆記することを前提とする．筆記時
の「あ」と「い」を筆記したときの加速度信号を示す．x，y，z
間を T （サンプリング間隔 10 ミリ秒）として，加速度時系
-38-
前処理
表 1 未登録筆記者の文字認識率（%）
文字認識率
図 2 筆記具の座標系
図 1 筆記中（筆跡は見えない）
1
0
−1
−3
−2
−1
0
1
2
3
3
2
0
z
1
3
2
3
2
1
0
−1
−3
−2
−1
x
0
1
2
3
原点移動＋正規化
60.11
70.51
表 2 文字と筆記者の同時識別率（%）
文字認識率
なし
原点移動
原点移動＋正規化
90.26
92.35
95.65
筆記者識別率
97.04
97.57
98.39
同時識別率
88.70
90.70
94.43
4. 空中手書きによる文字の認識と筆記者識別
文字認識では
2 の処理で筆記の姿勢情報が，
3 の処理で文字
−3 −2 −1
2
y
y
3
−3 −2 −1
0
z
1
文字
原点移動
4
筆記者 B
4
筆記者 A
「あ」
前処理
なし
58.07
の大きさや筆記の勢いといった個人性が除去され，認識率が向
上した．一方，筆記者の識別ではこれらの個人性は必要だと考
x
1
0
−1
−3
−2
−1
0
1
2
3
HMM を筆記者（ψ ）毎に学習した特定筆記者モデルを用い
4
3
1
z
0
y
3
2
1
0
−1
−3
−2
x
−1
0
1
2
3
−3 −2 −1
2
本節では文字種と筆記者の識別を同時に行うため，各文字
2
4
2
y
3
−3 −2 −1
0
z
1
文字
「い」
3
えられる．そこで，前処理の影響について調査を行った．
x
た．したがって，文字認識では ω ∗ = arg max P (O|ψ, ω)，筆
ω
記者識別では ψ ∗ = arg max P (O|ψ, ω) とし，同時識別では
ψ
(ψ ∗ , ω ∗ ) = arg max P (O|ψ, ω) とした．
ψ,ω
3 節の筆記データのうち，45 セット（9 セット/人× 5 名）を
図 3 空中筆記動作の加速度信号
学習に用い，残りの 5 セット（1 セット / 人× 5 名）で評価し
列信号を O = o1 o2 o3 …oT とし，時刻 t における加速度を，
た．学習と評価の組合せを変えて 10 回試行した．表 2 に文字
ot = (xt , yt , zt ) とする．この加速度信号に 1 文字書く度に以
認識率，筆記者識別率，文字と筆記者の同時識別率を示す．前
下の順に前処理を施す．
処理を施すことで文字の認識率，筆記者の識別率が共に向上し
1
重力加速度（平均加速度）を下向きに，筆記面を回転
た．同じ筆記者であっても，筆記の度に筆記の姿勢や筆記の勢
2
加速度の平均を原点に移動し，重力加速度を除去
いは変動する．これらの個人内での変動が，前処理によって除
3
加速度の大きさの平均が 1 となるように正規化
去されていると考えられる．また，筆記者間の変動も除去され
この信号を特徴量とし，文字種毎に left-to-right 型の HMM
（Hidden Markov Model）で学習する．
「あ」では 21 状態，
「い」
では 13 状態というように，状態数は文字種毎に異なる．認識
時は尤度 P (O|ω) が最大となる文字種 ω ∗ = arg max P (O|ω)
ω
を結果とする．P (O|ω) は文字種 ω の HMM から特徴時系列
O が出力される確率である．
3. 2 実
てしまうが，図 3 の文字「い」の軌跡の傾きが異なるように，
筆記具の持ち方や字形による個人性が十分残っているため，筆
記者を識別できたと考えられる．
5. ま と め
筆記の加速度の大きさの正規化を行うことで，文字の認識率
も筆記者の識別率も共に向上した．個人内であっても筆記の度
験
未登録筆記者の文字認識実験をした． 5 名の筆記者の正しい
書き順のひらがな 46 字種（「あ」∼「ん」）の加速度信号を収集
した．ここで，各字種を 1 文字ずつ筆記したものを 1 セットと
し，各筆記者から 10 セットずつ収集した．このうち，4 名の 40
セットで学習し，残りの 1 名の 10 セットで評価した．学習と評
価の組合せを変えて 5 回試行した．各文字 HMM は 4 人の筆記
に筆記の姿勢や筆記の勢いは異なるため，筆記者の識別にも原
点移動と正規化は有効であると考えられる．また，今回の前処
理では筆記者の癖や筆記具の持ち方による字形の傾きは変わら
ない．このため，文字の認識に対しては，個人性の除去が不十
分であった．字形における個人性と個人内での変動を分離して，
文字の認識では両方を，筆記者の識別では後者を除去すること
者で学習した多数筆記者モデルを用いた．前処理の有効性を調
が今後の課題である．
2 ）」「原点移
査するため，
「前処理をしない」
「原点移動のみ（
謝辞
2 ＋
3 ）」の 3 つの場合を比較した．なお，
1の
動と正規化（
処理は行わなかった．表 1 に未登録筆記者の文字認識率を示す．
前処理を施すことで認識率が向上した．原点移動は信号を平行
移動する処理，正規化は拡大・縮小する処理であり，筆記の姿
勢や筆記の勢いによる個人性が除去されていると考えられる．
-39-
本研究は JSPS 科研費 24500151 の助成を受けて行った．
文
献
[1] 中井，米澤, “加速度センサを用いた空中手書き文字認識,” 情報
科学技術フォーラム (2009-09)
[2] 石原，太田，行方，水野，“端末自体の動きを用いた携帯端末向
け個人認証,” 情処学論 (2005-12)
[3] 松木，中井，“加速度センサと角速度センサを利用した空中手書
き文字認識,” 情報科学技術フォーラム（2011-09）