MIDI演奏の自動採譜とは？ 音楽演奏を確率的にモデル化 リズム認識を

独立行政法人科学技術振興機構 戦略的創造研究推進事業 CREST 研究領域「デジタルメディア作品の制作を支援する基盤技術」
2005年度採択テーマ
「時系列メディアのデザイン転写技術の開発」研究代表者 片寄 晴弘
（関西学院大学理工学部 教授）
関西学院大学理工学部／産業技術総合研究所／和歌山大学システム工学部／東京大学情報理工学系研究科／京都大学情報科学研究科
http://www.crestmuse.jp/sympo2006/
MIDIデータを楽譜に変換する
武田 晴登† 山本 遼 西本 卓也 小野 順貴 嵯峨山 茂樹 †関西学院大学 （東京大学）
MIDI演奏の自動採譜とは？
■
楽譜
MIDI演奏の自動採譜
●用途：シーケンサデータ（カラオケ、着メロ）の作 成，
楽譜浄書、音楽検索
演奏
採譜
●対象：演奏を記録したMIDI信号
・音高と発音時刻が既知なので、音符が分かれば
楽譜に変換できる
■
リズム認識では何が問題か？
●
(c)
tempo [bpm]
● 0.25 秒の音長の音符は？
0.25 (秒) =
beat
beat
??? （拍）
- 典型的なリズムパターン
- 滑らかなテンポ
tempo [bpm]
(b) note onset
beat
音楽演奏を確率的にモデル化
●リズム語彙と文法
??? (秒/拍) ×
手掛かりとなるのは
(d)
time
♪ の長さは？
=120bpmのとき、
0.25 (秒) = 0.5 (秒/拍） × 0.5（拍）
(a)
tempo [bpm]
演奏MIDI
Rhythm Word Network for N-gram Model (N=2)
・ 既存の楽曲の楽譜から
統計的に学習
●リズム演奏の隠れマルコフモデル
・音長の変化、和音の発音時刻のずれを
確率的に扱う
音長の演奏をモデル化
実演奏の音長の変動
0.16
0.14
・
確率文法（N-gramモ
デル）によりリズムパ
ターンの出現確率を学
習
0.12
0.1
4/4 meter
rhythm words
0.08
0.06
0.04
0.02
start
end
0
0
●テンポの変動をモデル化
3/4 meter
rhythm words
テンポ曲線
＋
0.4
0.6
0.8
1
1.2
1.4
1.6
時間［秒］
テンポをモデル化
リズムパターンをモデル化
0.2
確率的
＝
変動
観測
瞬時テンポ
リズム認識を用いた演奏の楽譜変換
■ 最も尤もらしいリズムとテンポを推定
演奏者の意図した
テンポとリズム
確率的変動
推定
演奏された
音長
●事後確率を単調増加させる反復推定による収束解
[リズム推定] テンポを固定してリズムを最適化
HMM の Viterbi 探索
[テンポ推定] リズムを固定してテンポを最適化
テンポ曲線をセグメンタル ｋ平均法で最適化
●リズム正解率による評価
・１００曲の楽曲から学習し622のリズム単語から
なるリズム語彙を用いて81.9%のリズム正解率
■
自動採譜システムによる出力結果例
～
演奏者が用いた楽譜
ＨＭＭを用いたリズム認識による
楽譜変換の結果
市販ソフト (Ｆｉｎａｌｅ)
による 量子化の結果
～
1.8
2