音楽を創るための“真似”の科学

音楽を創るための“真似”の科学
「協調と制御」領域
片寄
晴弘
要旨
デザインを行う際、自身の頭の中にあるイメージを言語化し、さらに、第三者に説
明することは容易なことではない。目標となる事例を直接的に指し示し、その特徴を
伝えた方がはるかに容易である。本研究では、音楽領域において、事例を直接参照し、
特徴を転写することで、デザインの支援を実施することを研究対象とした。すなわち、
“真似”によって、音楽を創るインタフェースを提供することを課題とした。
演奏表情付けシステム、演奏インタフェース、ミックスダウンのデザイン支援、実
時間和声付けシステムを設計・実装し、デザインにおける事例利用の具体的な効果を、
体験型アプリケーションを提示する形で示すとともに、脳機能計測や社会心理学的な
検証も含め、
“真似”に基づいてデザインを実施するための機能的認知モデルの構築に
向け、多角的な検討を実施した。
１． 研究のねらい
音楽や映像、造形や舞踊など、非言語メディアのデザインやイメージを言葉で伝え
ることは簡単なことではない。そうするより，直接、事例を参照し、特徴を伝える方
がはるかに容易である。職業的なデザイン分野、特に、コンテンツプロダクションに
おいては、例えば「ビートルズのあの編曲」、「スタンリー・キューブリック後期作品
のシーン展開」などのように、具体的な目標事例を掲げてデザインイメージの伝達・
共有をはかり、その上で、具体的な制作プロセスに入ることが多い。これまでの制作
プロセスの多くは、
“人間の作業”として実施されてきたが、ますます高まりつつある
コンテンツ需要に対応するため、計算機処理による代替・支援が求められている。
本研究では、ユーザが目標事例を設定し、その特徴を転写することで音楽スタイル
や雰囲気、演奏表現を作りだすシステムの開発を課題としている。分かりやすく言う
と、“真似”によって、音楽を創るインタフェースを提供することを課題としている。
この方式を用いれば、ユーザは、専門的な知識を持ち合わせていなくても、音楽を創
ることが可能となる。現在までに、演奏における表情付け、ミックスダウン（商用音
楽制作における最終工程）を対象として、音楽の基本構造とデザイン特徴（elaboration）
の抽出とデザイン転写技術の開発を進めてきた。音楽分野での取り組みを起点に、幅
広い対象に適用可能なデザイン転写方式を確立することが本研究の最終的なねらいで
ある。
２． 研究経緯と成果
２．１
基本的な考え方
デザインの工学的インタフェースとしては、感性工学と呼ばれる手法が知られてい
る。一般的に、感性工学は次のような方法論を採用している。1) 多数の形容詞（情緒
表現）によって評定したデザイン素材に対する印象を多変量解析によって低次元の特
徴量空間に縮約する、2) その特徴量空間内の距離が感性的な近さに対応することを利
用してメディアの提示や選択などを行う、3) GUI 等の技術で特徴空間内に配置したメ
ディアをブラウズし，操作する。感性工学は「車」「眼鏡」「商標」等の検索インタフ
ェースを中心に実績を上げてきた。しかしながら、デザイン上の ideosyncratic (その
コンテンツをそのコンテンツたらしめている) な特徴を言葉で表現することは難しく、
また対応する情緒表現があったとしても次元を縮約する際にうもれてしまうことが
多々ある。それゆえ、感性工学は、生成系のデザインタスクを支援するという用途に
おいては本質的に機能しないという問題点があった。これに対し、本研究では、図 1
に示すように、デザインの機微や個人差を情緒表現で記述することなく、事例参照し、
elaboration を転写することでデザインを支援するインタフェースを提唱する。
きよしこの夜
直接入力
坂本龍一
「エナジーフロー」
小林武史
バラッド風
プロデュース
E.Clapton
「レイラ」ソロ
抽出
音楽骨組み
パレット
作曲
楽譜データ
編曲
演奏データ
演奏
楽曲
ミックスダウン
図 1．音楽領域におけるデザイン転写のイメージ
elaboration の転写を行うためには、デザイン事例の基本構造と elaboration を分離し、
さらに、elaboration と因果律を持つ構造をシステム内外で表現できるようにしておく
必要がある。既存の音楽情報の記述表現形式としては、楽譜情報に基づく記述
（MusicXML など）や演奏情報の記述が可能な MIDI が存在する。これらは、音響と
しての音楽情報を完全に記述しうるものではないが、それぞれの階層において、
elaboration を記述することが可能である。また、因果律の記述としては，たとえば，
音楽構造に対するナイーブな理解（フレーズやグループ構造など）が下位レベルでの
elaboration の構成に密接に関係するという性質が表現できることが望まれる[1]。
GTTMによ る 構造記述
IRMにおける 構造記述（ id eosy n cra t i c)
演奏 記 述レ ベ ル
抽 象化 度
高
様式と 作 風（ 広範 囲 ）
楽器種の指定
（ 楽譜） 音符によ る 記述
様式 と 作 風
演 奏解 釈
奏法の指定
楽音レ ベル
演奏 表 現
MIDI（ 楽器種 音符の開始、 終了時刻、 音量等を 記述）
時間周波数表現
非 言語
メ ディ ア
図2
２．２
音楽の記述レベルと elaboration
システム
音楽における事例参照型デザイン支援を実施するにあたり、以下に示すモデル、シ
ステム、ツール群の開発を行った。
・ 演奏表情抽出ツール
・ 演奏表情データ表示ならびにグルーピングルール（拡張 GPR）適用ツール
・ 演奏表情テンプレートを利用する演奏インタフェース
・ ミックスダウンデザイン支援インタフェース
・ アテンションの移動に基づく演奏レンダリングモデル
・ 音楽経験に基づく統合型音楽生成アーキテクチャ
①
COPER（事例ベース演奏レンダリングシステム）
②
豊次郎（流しミュージシャン）
２．２．１
演奏表情抽出ツール
演奏レンダリング（表情付け）は、本研究の中でも最も力を入れた研究対象の一つ
である。演奏レンダリングにおいてデザイン転写を行う際、演奏における elaboration
として、テンポ推移や各音の演奏制御情報（演奏表情データ）を抽出し、データベー
ス化を行うことが第一の課題となる。時に、一曲の中で 3 倍のテンポ変化が起こるよ
うな表情豊かな楽曲に対し、拍の量子化を行い、elaboration を抽出することは容易で
はない。ここでは、作業の効率化を目的として、スパースな楽譜ガイドデータ（例え
ば、数小節につき一つのメロディ音）をガイドとして用い、DP と HMM を用いて、
効率的に、演奏レベルの elaboration を抽出するツールを作成した(図 3)[2]。
図３．演奏表現における elaboration 抽出結果（可視化例）
ショパンワルツ Op.64, No.2 の７〜８小節目（左）の音大ピアノ科卒 2 名の演奏表現
例（中，右）。横軸がテンポ、縦軸が（拍全体の）音量に対応する。演奏表現上での特
徴の差が見てとれる。
２．２．２
演奏表情データ表示ならびにグルーピングルール（拡張 GPR）適用ツール
前節の処理によって抽出したデータのピアノロール形式での可視化ツールの実装を
行 っ た 。 加 え て 、 認 知 的 音 楽 構 造 解 析 理 論 GTTM(A Generative Theory of Tonal
Music)の音楽グループ解析ルール(GPR)を、音量や Offset-Onset Interval など、演奏
表現パラメータを考慮した形に拡張し、それらを表情のついた演奏に対して適用する
ことによって，グループ境界候補を提示する機能を実装した。この機能により、グル
ープ構造と演奏表現の関係を一見でとらえることが出来るようになった。演奏レンダ
リングモデル作成時のチェックに使用された他、音楽教育用途での利用が期待されて
いる。
図４．演奏表情データ表示と拡張 GPR によるグループ境界候補提示
２．２．３
演奏表情テンプレートを利用する演奏インタフェース
iFP は拍打・指揮型の演奏インタフェースである(図 5)。演奏者は指揮ジェスチャ
センサ、または、 MIDI キーボードを用いてテンポと音量を与える。演奏表情データ
(2.2.1 節参照)をテンプレートとして利用することで、演奏上のニュアンスが付加され
る。名ピアニストの手を借りた演奏感覚、あるいは、名奏家を指揮しているような感
覚を味わうことができる(2.3.3 節参照)。
図５．演奏表情テンプレートを利用する演奏インタフェース iFP
２．２．４
ミックスダウンデザイン支援インタフェース
ミックスダウンとは、レコーディングによって録音された各トラックの音素材に対
し、音量や音像定位の調節とエフェクタによる音質加工処理を施し、最終的にステレ
オトラックにまとめ上げる作業である。ミックスダウンにおけるエフェクタや音量、
音像定位の設定情報が異なれば、同じ音素材を用いても、楽曲の印象は大きく異なる。
技能と経験の乏しいアマチュアにとって、自分のイメージ通りにミックスダウンを実
施することは簡単なことではない。ここでは、経験豊富なミキシングエンジニアの持
つミックスダウンのデザインを再利用する環境の提供に向け、楽音の種類・奏法の分
類、各トラック情報に基づく音楽構造の解析機能を実装し、また、アノテーション方
式に関する検討を行った。
図６．ミックスダウン のためのデザイン支援
２．２．５
アテンションの移動に基づく演奏レンダリングモデル
芸術の中でも音楽は、他の芸術と比較すると、データ記述・理論化が進んだ領域で
あるといえるが、芸術表現を創り出すための決定的な計算モデルは存在しておらず、
現在、世界各国で研究が進められている。そのような中で、本研究グループでは、楽
曲の各パートに対するアテンション（注意）の移動に着目し、次に挙げることを基本
とする演奏生成モデルを提案した。１）それぞれのパートに独立に演奏表情をつける。
２）アテンションの移動の際、当該の音の音長を延ばす。３）複数パートの発音時刻
がグループ構造境界で一致するよう、オンセットタイミングのスケーリングを行う。
このモデルに基づき、ショパン作曲「幻想即興曲」の中間部のレンダリングを実施し
たものが、NIME04-RENCON Award（演奏生成の聞き比べコンテンスト 2.3.1 節参
照）の受賞作品となった。
図７．「幻想即興曲」におけるアテンションの移動
２．２．６
音楽経験に基づく統合型音楽生成アーキテクチャ
今までに、音楽能力を発揮する数多くの計算機システムが作られてきたが、そのほ
とんどは、作・編曲、表情付け、自動伴奏、セッションなど、個別の音楽タスクの実
施を対象として作られたものである。ところが、各タスクの機能面に着目すると、予
め与えられた、あるいは、何らかの手段で内発的に生成された“種”に対して、長期
記憶を参照しながらデータを付加する、あるいは、
“種”を詳細化するという共通の性
質がある。詳細化過程は“補完”と読み替えることも可能である。補完過程自体は、
未来の予測スケジューリングが必要なインタラクティブなタスクであっても、リアル
タイム性が要求されない静的なタスクであっても、基本的には、同じアルゴリズムで
の構成が可能である。長期記憶による自律的なデータ生成とリアルタイムに入力され
る信号への反応とのバランス制御をインタラクティブに行う機構を持つシステムは、
作・編曲システムや音楽解釈システムなどの静的なタスクを実施するシステムを包含
すると考えてよいだろう。このような観点から、本研究グループは、過去の音楽聴取
体験に基づく予測補完処理を主眼とする音楽生成モデル（図８）を提案してきた。音
楽聴取体験の利用に当たっては、スケーラブルなデータマッチング（類似性判定）が
必要となる。現在はベイジアンネットを利用し、Reduction レベルの抽象化制御を行う
アプローチでシステムを構成しつつある。
作曲 ／音 楽 解釈 （ 熟 考 型） シ ス テ ム
フ ィ ード バッ ク
選択
“ 種” （ 外在的）
外界の音楽
評価モ デル
予測補完型ア ーキテ ク チ ャ
作品１
音楽経験
コ ーパス
“ 種” （ 内発的）
作品２
作品２
作品３
イ ン タ ラ ク ティ ブシステム
図８．音楽経験に基づく統合型音楽生成アーキテクチャ
以上の考え方に基づき、「演奏レンダリングシステム COPER」、「流しミュージシャ
ン様の自動伴奏プロトタイプシステム 豊次郎」の実装を行った[2]。
２．３
評価
ここでは、評価系主要研究項目として、
・ Rencon プロジェクト（パフォーマンスレンダリングコンテスト）
・ 音楽グループ聴取傾向の分析
・ NIRS を利用した iFP 実施時の芸術的没頭の計測
について紹介する。
２．３．１
Rencon プロジェクト（パフォーマンスレンダリングコンテスト）
演奏レンダリングシステムの研究においては、これまでにも、個々の研究において、
手法や生成結果の評価がなされてきた。しかしながら、１）それぞれの研究が取り上
げている対象曲が異なる、２）人間（システム制作者）の介入の程度が異なるなどの
問題が有り、システム間でのレベルや達成度の比較が困難な状況にあった。また、生
成結果の評価については、主観的な評価が不可欠である。そこで、我々は、2002 年度
より、演奏生成システムが生成した演奏をコンテスト形式で評価する取り組み
（Rencon = performance RENdering CONtest）を推進してきた[3]。これまでに、
ICAD, IJCAI, NIME などの国際会議に併設する形で Rencon イベントを実施してき
た。
図９．Rencon プロジェクト
２．３．２
音楽グループ聴取傾向の分析
人間の音楽聴取モデルの構築を目指し、音楽グループ認知を題材とした分析的アプ
ローチも進めている．音楽におけるグループ認知については、
「局所的なゲシュタルト
evidence の積み上げと、
（伝統的西洋音楽特有の）典型的なフレーズ表現スキーマが、
拮抗する形で最終的なグループが認知される」という作業仮説を設け、聴取実験を行
った．その結果から，ゲシュタルト重視系の被験者グループ、フレージング重視系の
被験者グループ、さらに、メロディパート重視系の被験者グループを抽出した。被験
者グループ間で嗜好する音楽ジャンル、どのような聞き方で音楽を楽しむかの調査を
実施したところ、図 10 に示す結果が得られた。スキーマ形成に関連するデータが取得
できたものと考えている。
図１０．音楽グループ聴取タイプと音楽嗜好との関係
２．３．３
NIRS を利用した iFP 実施時の芸術的没頭の計測
iFP は、名演奏の事例を参照しながら、自身の演奏プランに基づいて実時間で演奏
を生成するインタフェースである。当初は、演奏デザインインタフェースの構成を目
的にシステム化を進めたが、プレイ時に、他の音楽系ゲームとは全く異なった演奏感
（気持ち良さ）が得られることが確認された。芸術分野における事例の利用は、デザ
インにおける生産性の向上に加え、
「能動的な鑑賞」を提供するツールとしての可能性
を有している。そこで、この効果を確認するために、
「事例の利用」、
「身体性（インタ
フェース）」、「鑑賞にかかわるモード」の効果を、主観評価、および、NIRS を用いた
脳活動の計測によって確認する実験を行った。主観評価と前頭前野正中部の脳活動計
測の双方において「能動的な鑑賞」における芸術的没頭を示唆するデータが得られた
（図 11）。
ta sk
0 m in .
liste n
ta sk
ta sk
ta sk
3 m in.0 m in.
3 m in. 0 m in.
3 m in.0 m in.
3 m in.
just shaking a
p
la
y
ing
iFP
liste n ca re fully
hand w it hout
p la y ing iFP
図１１．鑑賞のモードと脳活動の関係
前頭前野正中部における血流測定結果。赤線で表示したデータが Oxi-Hb の時間的軌
跡に相当する。「聞き流す」、「注意して聞く」、「指揮インタフェース利用時」の順で、
この部位での脳活動の低下が著しい。芸術的没頭と相関があるものと思われる。
３．今後の展望
演奏の表情付け、編曲（伴奏付け）、ミックスダウンの各音楽タスクにおいて、事例
を利用したデザイン転写手法を検討し、システム化を進めた。コンテンツに対する需
要が高まっている中、本研究は、生成系のデザインタスクを支援する本質的なアプロ
ーチとして期待されている。ここでの成果は、芸術に対する理解を深めるツール、新
しいアミューズメントとしての応用も見込まれている。現在、多岐にわたる音楽タス
クを統合的に取り扱うデザイン転写モデルの実装を進めている。今後は、モーション
やアニメーションを含む時系列メディアへの展開をはかり、我が国のコンテンツデザ
イン領域の発展に貢献していきたい。
引用文献
[ 1] 片寄他：非言語メディアのデザイン支援の課題と可能性，人工知能学会第 18 回全
国大会 1E3-01 (2004.5)
[ 2] 片寄他：音楽認知情報処理に関する３つのアプローチ，情報処理学会研究報告,
2004-MUS-57,No.8 (2004.11)
[ 3] http://shouchan.ei.tuat.ac.jp/~rencon/
発表リスト
[論文誌]
[ 1] 片寄晴弘, 奥平啓太, 橋田光代：演奏表情テンプレートを利用したピアノ演奏シス
テム:sfp, 情報処理学会論文誌, Vol.44, No.11, pp.2728-2736 (2003.11)
[ 2] 片寄晴弘, 笠尾敦司:マルチメディアコンテンツと情報処理システムとしての評価,
情報処理学会論文誌, Vol.44, No.2, pp.222-226（招待論文 2003.2）
[ 3] 片寄晴弘, 平田圭二, 原田利宣, 平賀瑠美, 笠尾敦司: 事例に基づくデザイン支
援と評価基盤の構築, 人工知能学会誌, Vol.18 No.1 SP-A, pp.24-28（2003.1）
[査読付国際会議]
[ 1] Ken'ichi Toyoda, Kenzi Noike, and Haruhiro Katayose: Utility System for
Constructing Database of Performance Deviations, Proc. ISMIR2004, pp.373-380
(2004.10)
[ 2] Haruhiro Katayose and Keita Okudaira: iFP A Music Interface Using an
Expressive Performance Template, Entertainment Computing 2004, Lecture Notes
of Computer Science, Vol. 3166, Springer (2004.9)
[ 3] Haruhiro Katayose and Keita Okudaira: Using an Expressive Performance
Template in Music Conducting Interface, Proc.NIME04, pp.124-129 (2004.6)
[ 4] R. Hiraga, R. Bresin, K. Hirata, and H. Katayose: After the First Year of
Rencon, ICMC 2003, ICMA, (2003.10)
[ 5] Haruhiro Katayose and Keita Okudaira: sfp/punin: A Performance Rendering
Interface using Expression Model, Proc. the IJCAI-03 workshop on methods for
automatic music performance and their applications in a public rendering contest,
pp.11-16 (2003.8)
[ 6] Mitsuyo Hashida and : A Study of Performance Rendering System based on
Slurring, Proc. the IJCAI-03 workshop on methods for automatic music
performance and their applications in a public rendering contest, pp.26-31 (2003.8)
[ 7] Rumi Hiraga, Mitsuyo Hashida, Keiji Hirata, Haruhiro Katayose and Kenji
Noike: RENCON: Toward a New Evaluation Method for Performance Rendering
System, Proc. Intl. Computer Music Conf., pp.357-361（2002.9）
[ 8] Haruhiro Katayose, Yuichi Uwabu and Osamu Ishikawa: A Music
Interpretation System -Schema acquisition and Performance Rule Extraction, Proc.
ICAD2002 Rencon Workshop, pp.7-12（2002.7）
[解説]
[ 1] 片寄晴弘：音楽とエンタテインメント，日本バーチャルリアリティ学会誌，Vol.9,
No.1, pp.20-24 (2004.3)
[ 2] 片寄晴弘: 音楽生成と AI, 人工知能学会誌, Vol. 19 No. 1, pp.21-28 (2004.1)
[ 3] 平 賀 瑠 美 , 平 田 圭 二 , 片 寄 晴 弘 : 蓮 根 ： 目 指 せ 世 界 一 の ピ ア ニ ス ト , 情 報 処 理 ,
Vol.43, No.2, pp. 136-141 (2002)
[特許]
出願番号：特願２００３-２０９８２号
発明者：片寄晴弘，野池賢二
「音楽演奏システム，方法およびプログラム」
出願日：
平成１５年２月２９日
出願番号：特願２００２-３７１７７３号
「楽曲ミキシシング装置，方法およびプログラム」
発明者：片寄晴弘
出願日：
平成１４年１２月２４日
[受賞他]
２００４年 RENCON (Performance Rendering) Award
「幻想即興曲」対象
２００３年 FIT2003 論文賞
ンとその適用」 対象
橋田光代，片寄晴弘:
谷井章夫，後藤真孝，片寄晴弘：
「Mixdown のデザイ
２００３年 人工知能学会 全国大会ベストプレゼンテーション賞 片寄晴弘, 平
田圭二, 原田利宣, 平賀瑠美, 笠尾敦司: 「事例に基づくデザイン支援と評価基盤の
構築」 人工知能学会全国大会（2002.5）対象（近未来チャレンジテーマ採択）
■
片寄 晴弘（関西学院大学理工学部）
グループメンバー：野池賢二、橋田光代