Comments
Description
Transcript
聴きたい楽器を強調して鑑賞で きる音楽インタフェース
聴きたい楽器を強調して鑑賞で きる音楽インタフェース 筑波大学大学院 システム情報工学研究科 知能機能システム専攻 浜中 雅俊 test 背景： 音楽聴取における要望 聴きたいパートに焦点を合わせて聞きたい - 特定のパートの演奏をもっと聴きたいと感じても 音楽初心者ではパートの聴き分けが困難。 ? 背景： 音楽聴取における要望 パートの聴き分けが困難な例：Guitarist Simulator 何人のギタリスト？ その特長は？ 背景： 音楽聴取における要望 パートの聴き分けが困難な例：Guitarist Simulator 何人のギタリスト？ ・3人のギタリストが演奏 人間の演奏者Ａ 仮想演奏者Ｂ 仮想演奏者Ｃ その特長は？ ・仮想演奏者Ｂは人間Ａの 音楽的な個性を統計的手法 により模倣 従来の音楽インタフェース 音楽用ミキサーによる音量・定位の調節 - 複数チャンネルの音源の音楽用ミキサーを使用 したミキシング操作は煩雑 たとえばこんな操作が必要 音源10 音源9 音源8 音源１ 音源7 音源6 音源5 音源4 音源3 音源１ 音源2 音源１ ギタリストがソロをはじめた瞬間に そのギタリストのボリュームを上げ、 定位を中央に寄せ、その他の各パ ートのボリュームをすこしずつ下げ その定位を調節する 聴きたい楽器を強調して聴ける 新たな音楽インタフェース 直感的な操作で 音楽用ミキサーを 電子コンパス 傾斜センサ コントロールできる ヘッドフォン 赤外線距離センサ 左を向けば 左の音 Left 右を向けば 右の音 Right 下を向けば 近くの音 Near 上を向けば 遠くの音 Far 耳を澄ますポーズで 聞き入りたい音にフォーカス Focus 動作原理 1 ヘッドフォンに3種のセンサを搭載 デジタルコンパス （地磁気センサ） 傾斜センサ 赤外線距離センサ 動作原理 1 ヘッドフォンに3種のセンサを搭載 電子コンパス - 顔の向いている方位を検出 - 3軸の磁気センサを用いて地磁気を測定 傾斜センサ - 顔の仰角を検出 - 2軸加速度センサを用いて傾きを測定 赤外線距離センサ - 耳を澄ます動作を検出 - 手と耳の距離を赤外線距離センサで測定 動作原理 2 ミキサーの操作との対応づけ 音源を仮想空間上に配置 位置は手動変更可能 ⑤ ④ ⑥ 各パートの配置 ③ ⑦ ⑧ アバタの位置 ② ① ⑩ ⑨ 音源： RWC研究用音楽 データベースを使用 動作原理 2 ミキサーの操作との対応づけ 顔の方向との対応づけ ⑤ ④ ⑤ ⑥ ⑦ 左 ⑧ ③ ② ⑨ ① ⑩ ④ ⑤ ⑥ 正面 ⑦ ⑧ ③ 各パートの配置 ② ⑨ ① ⑩ アバタの位置 ④ ⑥ ⑦ 右 ⑧ ③ ② ⑨ ① ⑩ 動作原理 2 顔の方向との対応づけ 顔の仰角との対応づけ ⑥ ⑦ ⑧ ⑨ ⑩ ① ② ③ ④ ⑤ 水平 下を見下ろす 動作原理 2 顔の方向との対応づけ 耳に手を添える動作との対応づけ ⑤ ⑥ ④ ⑦ ⑧ ③ 各パートの配置 ② ⑨ ① ⑩ 遠い 近い 想定される用途 1： エンタテイメントとして 音楽をコントロールする楽しみを味わう 想定される用途 2： 能動的音楽鑑賞ツールとして 自分の聴きたいパートを探しながら聴く 新しい音楽の楽しみ方 今日は 第一バイオリンを聴こう 想定される用途 3： 音楽教育への利用 鳴っている楽器を照明で視覚的に確認 音楽を楽しみながら楽器の音色が覚えられる トランペットって こんな音色なんだ 想定される用途 4： 音楽教育への利用 練習中のパートの音を強調することで、メロディ の把握が容易に トランペットが 聴き取りやすい 想定される用途 5： 音楽検索への利用 音のみによる楽曲選択インタフェイス -楽曲検索の結果からマウスクリックなしで聴きたい曲を選択 選曲モード (a) 頭の動きを止める 再生モード (b) (a) (b) 頭を左右に振る 想定される用途 5： 音楽検索への利用 関連技術との比較 (1) 従来のセンサ付きヘッドフォン（特開平2-25900号など） - 頭を振ることによる音場の乱れを補正 - 特定の音源の音を選択的に聴くことはできない ⑪ ⑫ ⑥ ⑩ ⑦ ⑤ ② ① ⑪ ⑧ ③ ⑫ ⑥ ⑨ ⑬ ⑩ ② 頭を振る ① ④ センサ付き ヘッドフォン ⑦ ⑤ ⑧ ③ ⑨ ⑬ ④ センサ付き ヘッドフォン 関連技術との比較 (2) 従来の音楽選択インタフェースの問題点 - 曲の選択に多くの操作が必要 →音を聴くときの自然な動作を検出しできる限り ＧＵＩやボタンインタフェイスによる操作を減少 - 未知の楽曲に限られた時間内で触れることのできる数には限界がある →多くの曲を同時に再生する新しい音楽の聴き方を実現 - ディスプレイなどによる楽曲名の表示が必要 →ディスプレイレスでも動作可能な選曲システムを実現 実用化に向けた課題 ヘッドフォン→はほぼ実用化に近い完成度 ・操作ユニットとして用いるヘッドフォンの軽量化・耐性の向上 ・既存のヘッドフォンに実装可能な汎用性の確保 ・製造が容易な部品構成・部品材料の選定 ・ヘッドフォンを接続する機器側のインターフェースの開発 音源→新たに用意する必要あり ・パートごと別トラックに録音した音源が必要 ・現在はRWC研究用音楽データベースの曲を使用 音源10 音源9 音源8 音源１ 音源7 音源6 音源5 音源4 音源3 音源１ 音源2 音源１ 本技術に関する知的財産権（1） 発明の名称：ヘッドフォンに搭載したセンサ情報 を用いた音楽のミキシング方法および装置、なら びにプログラムおよびこのプログラムを記録した 記録媒体 出願番号 ：特願2005-180772 PCT/JP2006/312332 出願人 ：独立行政法人 科学技術振興機構 発明者 ：浜中雅俊、池月雄哉 本技術に関する知的財産権（2） 発明の名称：音源選択装置 出願番号 ：特願2006-269623 出願人 ：独立行政法人 科学技術振興機構 発明者 ：浜中雅俊、李 昇姫 お問い合わせ先 【技術内容について】 筑波大学 大学院システム情報工学研究科 知能機能システム専攻 音楽情報処理研究室 浜中 雅俊 電話：0298ｰ53ｰ5148 ＦＡＸ：0298ｰ53ｰ5148 E-mail：[email protected] 【技術移転について】 科学技術振興機構（JST） シーズ展開課 技術移転プランナー： 井上 治郎 電話：03-5214-7519 ＦＡＸ：03-5214-8454 E-mail ：[email protected]