f - 岩手県立大学

岩手県立大学いわてものづくりソフトウェア融合テクノロジーセンター
Android端末を用いた事前登録型生活音識別システム
Living Sound Identification System Using Smartphone For Persons With Hearing Loss
研究の背景と目的
 超高齢社会へ
・・・ 高齢者、難聴者の増加
 高度情報化社会
・・・ 生活音の多様化
 車社会
・・・ 聴覚障害者でも免許取得可能
 災害対策
・・・３．１１では情報が届かず犠牲者多数
生活の安心・安全 ⇒ 生活音情報を正確に取得したい
聴覚障害者向け支援システム（屋内信号装置）の一例
商品名
呈示方法
振動 文字
機能／特徴
検知
可能数
光
• 用途別専用機器を組み合わせられる
• ５種の発信機と４種の受信機
5
○
○
〇
• 1セット5種類程度の音を感知
• 時計型とキューブ型の受信機
5
○
○
○
ベルマンビジットシステム
受信機 ： ¥25,000～¥47,500
発信機 ： ¥15,000～¥31,000
㈱自立コム
シルウォッチ
1セット ： ¥87,400
㈱東京信友
• 検知可能な音が限られている
• 高コスト
• 認知度が低い
高精度かつ多くの生活音を
自動識別できるシステムの開発へ
Androidを用いた生活音識別システム
Android アプリケーション“おんせん”
Android
！
文字
“ドアチャイムが
鳴ってます”
電子レンジ
ランプ点滅
ドアチャイム
やかん
 スマートフォンなど携帯端末機器
のプラットフォーム
 高機能＆多機能
 アプリケーション開発も容易
 世界中で利用
 Google Play Store よりアプリ
ケーションを提供
振動
生活音
利用者
Android端末
ドアチャイムなどの
生活音が発生します。
端末で生活音を
自動的に識別します。
文字や光、振動といった
情報に変換します。
耳が不自由な利用者でも生
活音を知ることができます。
2011年3月末のスマートフォンOS別契約数
シェアはiOS 49.6％、Android 40.4％となっ
ていたが、2011年12月末時点でのシェアは
Android 58.1％、iOS 37.2％とAndroidが逆
転している。 ㈱MM総研[東京・港]
Android端末を利用した生活音識別システム
端末間通信による情報共有
端末間通信の利点
 どこでも情報取得可能
火災報知器を
検出しました
火災報知機
発生
 他の人とも情報共有
 見守りシステムとして応用
Android A
転送
(Wi-Fi)
転送
（E-mail）
2F
火災報知器を
検出しました
火災報知器を
検出しました
！
想定しているシステムの利用場面
！
場 面
識別対象音
屋 内
インターホン、ガス警報器、電子レンジ、ドアノッ
ク、電話、ファックス・・・
屋 外
緊急車両のサイレン、自転車のベル、歩行者
用信号機の音響信号・・・
Android C
Android B
他の部屋
1F
外出先
2013年4月
Google Playストア公開予定
※一部の機能を備えた無償版
Iwate Prefectural University Iwate Monodukuri and Software Integration Technology Center
事前登録型生活音識別システム概要
登録モード
生活音識別システムの特徴
生活音
ＤＢ
情報
登録
信号
検出
マッチング
特徴量
抽出 スイッチ
マイク
識別
処理
生活音
（１） 高精度な識別
• 事前登録方式（ユーザが識別したい生活音を決めること）
• 非常に高い精度で識別、15種類の生活音が識別可能
（２） 正確なリアルタイム解析
• ヒトの聴知覚における時間処理に基づいた時間長での解析
視覚・触覚
情報変換
識別モード
利用者
（３） どこでも確実に信号検出が可能
• ヒトの聴知覚処理に基づいた信号検出法
• 環境に依存することなく、騒音環境に合わせた信号検出が可能
生活音識別システムの基本構成図
c) 抽出する特徴量
a) リアルタイム処理
Power [dB]
フレーム単位で信号処理
G : Gas alarm
D : Door
K : Knock
N : Noise
80
70
60
50
40
30
20
10
0
Input Signal
Registered Signal
Power difference (Pd)
Sy
Sx
fh
fl
NNNGGGGGGGGGGGGGGGGGGGGNNNNNDDDDKKDDDDDDKNNNNN
識別結果
Gas alarm
fl
Pd value
correction
Time
Door
Input Signal
リアルタイム処理の一例（ガス警報器およびドアが閉まる音）
Spectral Distance (SD)
(a)Noise
(b)Living Sound
Waveform
Amplitude
Amplitude
Waveform
fl
Threshold
processing
告音など
• Android端末について
Frequency
Power
Frequency
y
インターホン、ファックス、携帯電話（メール）、冷蔵庫開けっ放し時の警
Power
Power
Mel sub-band
Frequency
Threshold
i  fl
2
x
岩手県滝沢村在住の聴覚障害者（60代男女）宅で実験中
• システムに対する要望
「生活音をいつでもどこでも知らせてくれるシステム」
• 知らせてほしい音
Power
Power
Frequency
S (i)  S (i)  Pd 
fh
現在の取り組みと今後の展望
FFT
Long-term
Average
Spectrum
1
fh  fl
fh
Time
Time
fh
SD 
(b)
i fl
Registered Signal
b) 信号検出手法
(a)
 S x i   S y i 
fh
1
Pd 
fh  fl
→ 抵抗はない、ぜひ購入して利用してみたい
• “おんせん” について
Threshold
Detected frequency band
→ 利用していきたい、協力させてほしい
今後は被災地仮設住宅での利用も検討
Frequency
音響信号処理技術の応用
音響コードシステム
ラジオ・テレビ
URLの読み上げ
文字情報を音響信号に変換（符号化） ⇒ 携帯端末で復号化
コードブック
文字列
パタン
生成
特許出願中
講義
http://www.iw
ate-pu.ac.jp
課題の内容
コードブック
音響
コード
パタン
抽出
文字列
商店街
駅・空港
商品の宣伝・
クーポン配布
乗り換え、搭乗案内など
受信側
送信側
スマートフォンなど
一般的な音響再生機器など
（一例）
http://www.iwate-pu.ac.jp/
URL
http://www.iwate-pu.ac.jp/
音響信号
URL
音響コードシステムの利用場面