Comments
Description
Transcript
ROBOMEC2010
ギターを入力インタフェースとするロボット操作方式に関する研究 － 第２報: 条件分岐判定による特殊奏法推定手法 － 広島市立大学 ○坂田 翔平， 岩城 敏 A robot controlled by a guitar － 2nd report: Estimation of guitar playing methods by conditional branching statements ― ○Shohei SAKATA and Satoshi IWAKI, Hiroshima City University Frequancy[Hz] Abstract: Aiming at entertainment MotionMedia contents, we study the methodology of a robot dancing system in response to an electric guitar sound. In this report, we investigate how to estimate the guitar playing methods by conditional branching statements with respect to the change in the amplitude and the frequency of the sound. A six DOF robot system is shown to confirm the validity of our proposed scheme. １．序論 れに同期した曲調・盛り上がり度)を推定する．後者は， 近年，音楽に反応して踊るロボットが数多く研究さ 上記の演奏データを受け取り，それらに相応しいロボ [1] れている ．これらは楽曲全体の特徴量(音量・リズム・ ットモーションデータを出力する．以下では提案シス 和音等)を事前に解析し，それらの特徴量とロボットモ テム実現の鍵となる奏法推定手法について述べる． ーションとを関係付けることで，音からモーションへ ３．特殊奏法推定手法の検討 のマッピングを実現している．しかしこれらの手法で 推定対象とする複数のギター音を可視化するために は，楽曲中全ての音源の特徴量に機械的に反応する単 スペクトログラム(SG)を取得した（Fig2）． 純動作の繰り返しとなり易く，特定フレーズや特定楽 奏法は，slide，bending，vibrato，cutting を推定 器に対応する意図的なモーションをデザインすること 対象とした．これらは，ギタリストの音楽的情感を最 ができない．従ってライブ感に乏しいモーションメデ も繊細かつ情熱的に表現し得るギター独特の奏法であ ィアコンテンツに陥りやすい．そこで本研究では，ギ り，踊りのモーションにも強い関連性があると考えら ターフレーズから演奏者のモーションに関する意図を れる．これらの奏法に関しては，特殊奏法を演奏した 読み取ることで，上記の問題を解決することを試みる． ときの振幅と周波数の両方の特徴量から推定を行う． 各種奏法の振幅の変化を Fig3 に示す．Fig3 より，特 ２．本研究のアプローチとシステムコンセプ 殊奏法を用いた場合の振幅は，cutting を除き最初ピッ トの提案 キングしたときの振幅から漸近的に単調減衰するとい ギターにはその種別・演奏形態・演奏役割・奏法等 う特徴が見られる． の観点から様々な演奏シーンが存在するが，本研究で は，エンタテインメントとしてのダンシングロボット を念頭に，エレキギターで主にリード演奏する場面を 想定する．この時本研究の技術的課題は，ギター音か らロボットモーションへの写像，すなわち１入力多出 力関数決定問題と捉えることができる．この問題解決 のヒントとして本研究ではエアーギターパフォーマン Fig.1 System concept for the robot controlled by a guitar ス(AGP)に着目した[2]．AGP では，演奏フレーズから手 14700 と指の運動情報が再現されると共に，そのフレーズに 11025 対応した情感が生まれ，それが身体部位運動へと繋が って行くと考えることができる． 7350 このような考察より，本研究で提案するシステム概 3675 念図を Fig１に示す．本システムは，楽音から演奏デー normal cutting vibrato bending slide1 slide2 slide2 choking slide1 vibrato slide slide slide choking vibrato normal cutting slide vibrato cutting normal cutting 0 タを推定するモジュールと，推定した演奏データから 0 5 10 15 Time[s] モーションデータを生成するモジュールから構成され Fig.2 Spectrogram examples of some renditions る．前者は，ギター音から演奏データ(運指データとそ この振幅の状態かつ周波数の変化の仕方が，特殊奏 法のいずれかの特徴と一致した場合，各々の特殊奏法 と推定する． 各種奏法の特徴パターンを Fig4 に示す．Fig4 は，基 音の時系列であり，Fig2 の SG の振幅スペクトルの最も 高い部分を 1，それ以外を 0 と２値化した． 各特殊奏法に対して、振幅と周波数の時間的変化に 関する特徴を示したものを Table1 に示す． 以上のことから，特殊奏法の明示的条件分岐(Fig5， Fig6)を作成し，推定を行った． 6 自由度ロボット実験システムを PC 上に実装(Fig7) し，明示的条件分岐でギター操作実験を行った結果， 設計通りの動作を行うことを確認したが，誤動作も発 生した． Table.1 Qualitative characteristics of some guitar sounds 奏法名 奏法 振幅 周波数 slide 押弦した指を滑らせる ことで音高を変える 緩やかに 単調減少 滑らかに上昇 または減少 bending 押弦している指で弦を 引っ張り音高を変える 緩やかに 単調減少 滑らかに上昇した後 上昇前の値に 滑らかに減少 vibrato 押弦している指で弦を 上下に引っ張り音高を 変える 緩やかに 単調減少 上昇と上昇前の値に 減少するのを短い時間 で繰り返す cutting 弦に手が触れた状態 でストロークして歯切 れの良い音を出す 急激に減少 基音や倍音などは 現れずノイズの含まれ たように一様分布する 振幅 緩やか 急激 振幅の変化 slide2振幅 slide1振幅 vibrato振幅 cutting振幅 bending振幅 Fig.5 amplitude determination ４．結論 周波数 ギター音からロボットモーションへマッピングする システムコンセプトを提案し，明示的条件分岐を用い た特殊奏法推定手法を提案し，その妥当性を検証した． 一様分布 周波数の分布 cutting周波数 規則的 上がる 音程の変化 下がる 200000 slide1 slide2 bending vibrato cutting amplitude 150000 下がる 周期的 slide2周波数 音程の変化 vibrato周波数 上がる slide1周波数 bending周波数 Fig.6 frequency determination 100000 ギター演奏 FFT処理 50000 スペクトログラムデータを出力 0 0 1 2 3 単音，奏法推定のためのデータ取得 time[s] Fig.3 Changes in amplitude of some guitar sounds Time[s] Frequency[Hz] Frequency[Hz] Time[s] 111000000000000000000000000000 000111000000000000000000000000 000000000000000000000000000000 000000110000000000000000000000 000000001000000000000000000000 000000000110000000000000000000 000000000000000000000000000000 000000000001111111111111111111 [slide1] Frequancy[Hz] Time[s] Time[s] Frequancy[Hz] Frequency[Hz] Frequancy[Hz] [vibrato] [normal] vibrato推定 単音識別 単音，奏法の決定 モーションデータの決定 ロボット動作 Time[s] 000000000000000000000000000000 000000000000000000000000000000 000000000000000000000000000000 100110001000110011011001101100 011001110111001100100110010011 000000000000000000000000000000 000000000000000000000000000000 000000000000000000000000000000 [bending] 000000000000000000000000000000 000000000000000000000000000000 000000000000000000000000000000 000000000000000000000000000000 111111111111111111111111111111 000000000000000000000000000000 000000000000000000000000000000 000000000000000000000000000000 slide推定 000000000000000000000000000000 000000001111111111111111111111 000000010000000000000000000000 000000000000000000000000000000 000000100000000000000000000000 000000000000000000000000000000 111111000000000000000000000000 000000000000000000000000000000 cutting推定 [slide2] Time[s] 000000000000000000000000000000 000000000000000000000000000000 000000000000000000000111111111 100000000000000000111000000000 011000000000000111000000000000 000111111111111000000000000000 000000000000000000000000000000 000000000000000000000000000000 bending推定 000000000000000000000000110000 000000000000000010000000000000 000000000000000000000000000000 000000000000000000000011000000 000000000000001100000000000000 001100001100000000000000000000 110011110000000001111100001111 000000000011110000000000000000 [chord] Fig.4 Changes in frequency of some guitar sounds Fig.7 Flow chart of the proposed system ５．参考文献 [1]SONY：“Rolly”，http://www．sony．jp/rolly/ [2]“エアギター”，http://ja．wikipedia．org/wiki/エア・ギター [3] 金森巨洋，森山剛，小沢慎治：“ギター単旋律における特殊奏法 の TAB 譜自動生成”，社団法人情報処理学会研究報告，2005 [4] 坂田翔平，岩城敏：“ギターを入力インタフェースとするロボッ ト操作方式に関する研究”, 電気・情報関連学会, 2009 [5]“ギターロボ”,http://www.sys.info.hiroshima-cu.ac.jp/robo tics/motionmedia/index.php?%C2%E8%A3%B5%B2%F3%A5%B3%A5%F3%A5% C6%A5%B9%A5%C8%A4%CE%A4%B4%B0%C6%C6%E2