ステレオイヤホンを用いた 音像移動による頭外音像定位システム

ステレオイヤホンを用いた
音像移動による頭外音像定位システム
JST新技術説明会
平成20年10月28日
長岡技術科学大学
工学部電気系
教授 島田 正治
研究背景
•
•
5.1チャネル再生方式
携帯用オーディオ再生機器の急速な普及
⇒ 高臨場感サウンド再生技術の確立
↓
仮想音源生成技術で実現
（バーチャルサウンド再生技術）
音が目の前に
存在している
ようだ！
音の受聴形態
• 拡声受聴（スピーカ受聴）
仮想音源
• ヘッドホン受聴
→ 頭外音像定位技術…空間の所望の位置に音像を定位させる
↓
高臨場感サウンド再生のための必須技術
2
頭外音像定位の原理
両者における鼓膜での音波
＝
実際のスピーカ（実音源）
拡声受聴
仮想音源
↓
ヘッドホン受聴
頭外音像定位が実現
3
頭外音像定位に必要な伝達関数
音源 S
音源 S
LSTF
SSTFL
SSTFR
SLTFL
SLTFR
EL’ ER’
EL ER
ECTFL
ECTFR
マイクロホン
拡声受聴
SLTF ：頭外音像定位伝達関数
SSTF ：空間音響伝達関数
ECTF：外耳道伝達関数
LSTF ：ラウドスピーカ伝達関数
HRTF ：頭部伝達関数
ヘッドホン受聴
SLTFL（R） ＝
SSTFL(R)
ECTFL（R）・ LSTF
HRTFL(R)
＝
ECTFL（R）
4
頭外音像定位の
従来技術とその問題点
鼓膜での音波は個人の頭部・耳介形状に依存
HRTFは利用者毎に測定が必要 ⇒ 煩雑！
HATSのHRTFが用いられている（ダミーヘッド録音）
Wightman et al.(1993), Shimada et al.
（1994）, Moller et al.(1996)
⇒ 音像定位精度の劣化
• 定位誤差(定位のずれ)
• 前後定位の誤判定
HATS
?
※ HATS（Head And Torso Simulator）
定位が曖昧だ！
?
5
新技術のきっかけ
HATSから得たHRTFで生じる頭外音像定位精度
の劣化を改善する手法はないのか？
測定
共通の HRTF
HATS
音源信号
畳み込み
明確な
定位だ！
音像移動で定位精度が改善できないのか？
6
新技術の特徴・従来技術との比較
従来技術の問題点
・伝達関数が個人ごとに違う。
⇒・定位精度が異なる。
・商品化が難しい。
仮想音源を微小に動かす音像移動技術により、
・不特定多数受聴者への適用範囲が広がる可能性。
・個人ごとの伝達関数の測定が不要。
7
音像（音源）移動技術の問題点
波形の不連続は、音像が移動する度に発生
→ 音質が著しく劣化
↓
比較・検討した研究は存在しない
往復
信号波形の
不連続
代表的な伝達関数切替法
（１）switch法
（２）overlap-add法
（３）fade-in・fade-out法
水平面
波形歪み
受聴試験
スペクトルの拡がり
クリック音
音質劣化の少ない
伝達関数切替法
8
伝達関数切替法
switch法
overlap-add法
…領域分割畳み込み
fade-in・fade-out法
…包絡窓で切り替えを滑らかに
S
単純に伝達関数を
切り替える方法
O-O
通常のoverlap-add法
O-H
modified hamming窓を
用いたoverlap-add法
F-R
t 窓法
F-C
cosine窓法
F-F
Fourier級数窓法
9
波形歪による評価
波形歪の原因
⇒インパルス応答の切替
時間差（位相差） 振幅差
総合的に評価
スペクトルの拡がり具合
評価指標：帯域幅方程式
評価指標：
→スペクトル歪幅
スペクトルが
拡がる
max{σω}を代表値→ σωmax
σ
2
ω
N −1
= ∑ (k − k
)
2
S (k )
2
k =0
k
：離散周波数
<k> ：平均周波数
N ：帯域幅
|S(k)|： 正規化周波数振幅特性
10
σω
maxの計算結果
移動角度：10°
手法O-O
＞ ＞ ＞
S
O-O
O-H
σωmaxの大小関係
手法S
手法O-H
F-R
F-C
F-F
fade-in・ fade-out法
（手法F-R～F-F）
F-R≧ F-C > F-F
11
受聴試験結果
S:30 O-O:10
S:10
O-O:30
女声 → 男声と同様の傾向
O-H:30O-H:60
F-F:60
F-F:30
劣化少
男声
O-H:30
O-O:30 O-O:10
O-H:60
S:10
F-F:60
S:30
F-F:30
楽音
手法S
≒ 手法O-O
音質劣化：多い
＞
劣化少
手法O-H ≒ 手法F-F
音質劣化：少ない
12
本発明１：音像スウィング法の概要
位置A
φ
θ
位置B
φ : 提示方位
θ : スウィング角度
T : 切替時間
スウィング音像の時空間特性
矩形
位置A
時間
位置B
T
T
13
全被験者の前後誤判定率
modified hamming窓を用いたoverlap-add法(O-H)
SHT
SRM
SYW
SYT
HRTF：HATS T ：0.25s
F-B conf. rate [％]
F-B conf. rate [％]
HRTF：本人 T ：0.25s
25
20
15
10
5
0
0
5
10
15
20
25
Swing angleθ [°]
30
SSK
25
20
改善
15
10
5
0
0
5
10
15
20
25
30
Swing angleθ [°]
14
平均定位誤差と前後誤判定率
modified hamming窓を用いたoverlap-add法(O-H)法
1.2
7.0
1
6.0
0.8
5.0
0.6
4.0
0.4
3.0
0.2
2.0
1.0
0
0.0
-0.2
0
5
10
15
20
Swing angleθ [°]
25
30
F-B conf. rate
Diff. in F-B conf. rate
25
20
0
-1
-2
-3
-4
-5
-6
-7
-8
-9
15
10
5
0
0
5
10
15
20
25
30
Diff. in F-B conf. rate [％]
8.0
F-B conf. rate [％]
Ave. local. error
Diff. in ave. local. error
Diff. in ave. local. error [°]
Ave. local. error [°]
HRTF：HATS T ：0.25s SRMとSSKの平均
Swing angleθ [°]
検定結果
1.
2.
θ≦ 8°で、平均定位誤差の有意な増加を抑制
θ≧ 8°で、前後誤判定率を有意に改善
⇒ θ= 8°が適切
15
本発明２：
ステレオ再生での音像スウィング法
スウィングステレオ音像
SwSSI
SwSSI
Twist法
Compand法
音像定位精度は？ → 検証
16
Twist法による定位試験結果
SNF
SHK
SST
被験者全9名中、
• SNF型(Group A)…2名
• SHK型(Group B)…4名
• その他(Group C)…3名
17
Compand法による定位試験結果
SNF
SHK
SST
被験者全9名中、
• SNF型(Group A) …1名
• SHK型(Group B) …2名
• その他(Group C) …6名
18
本発明のまとめ
目的：
不特定多数受聴者に対してステレオイヤホンによる頭外音像定位の
実現⇒HATSのHRTFで高い音像定位精度を実現する手法
１．移動音の定位精度
・ 離散的に移動する音像の定位精度を検討
結果：スウィング角度θを8°に設定 ⇒ 定位精度改善
（前後誤判定率改善、平均定位誤差抑制）
２．ステレオ再生に提案法を適用
・ Twist法とCompand法を考案
・ 音像定位精度を検討⇒ θを4°に設定することで前後判定率改善
結論：音像スウィング法は
HATSのHRTFによる定位精度を改善する上で有効
19
想定される用途
・本技術の特徴
1.音像定位角度を切り替えるときに、波形の不連続を知覚させな
い＝＞音楽プロジューサへの編集機器への提供
2. 定位精度の向上と前後の誤判定を改善させるために、音像を
微小角度で振らせる技術＝＞不特定多数の受聴者に適用
範囲を広げる。
想定される業界
・想定されるユーザー
：放送関係者、エンターテイメント開発業者
・想定される市場規模
：MP3プレーヤでは2300万台（２００６年）、
PC向け有料配信サービスでは61億円、モバイル向けでは1850
億円(2008年予測）
20
実用化に向けた課題
・現在市販されているステレオイヤホンやヘッドホンには多くの
種類があり、その電気音響的特性によって、定位感が異なる
ため、この補正を行う必要がある。
Î
本件については、適応信号処理を用いてDSPで試作、研
究発表する予定。（すでに特許済み）
・聴覚は視覚の影響を受けやすいため、視覚効果を併用
することにより、定位精度や不特定多数の受聴者に受け入
れやすくなる。
21
企業への期待
瞬断もなく、連続的に、違和感のない楽音の切替ができるの
で、オーディオ編集機器に利用可能となる。
方向定位感を知覚できるので、ステレオイヤホンを用いて音
楽を聴いていても、外部の音を方向検出して、その方向に警
笛を鳴らすことも可能となる。
デモ音源を聞かれて、ご一緒に開発を進めたい方を募集しま
す。
HRTFのデータの公開ホームページ(無料）
http://audio.nagaokaut.ac.jp
データを使用された場合は、上記URLを必ず記載していただ
きたい。
22
本技術に関する知的財産権
・発明の名称：頭外音像定位装置
・公開番号 ：2007-214815
・出願番号 ：2006-31651
・出願人
：長岡技術科学大学
・発明者
：島田 正治、穗刈
工藤 彰洋、久保
治英、
星哉、
23
お問い合わせ先
大学窓口
長岡技術科学大学 総務部 産学・地域連携課
知的財産係 五十嵐 修
TEL: 0258-47-9279 FAX: 0258-47-9040
E-mail: [email protected]
ＪＳＴ窓口
科学技術振興機構（ＪＳＴ） 技術移転促進部 シーズ展開課
技術移転プランナー 井上 治郎
ＴＥＬ ： 03-5214-7519 ＦＡＸ ： 03-5214-8454
Ｅ-mail： [email protected]
24