AUDIO班 - 甲藤研究室

AUDIO班
早稲田大学 基幹理工学部
情報通信学科 甲藤研究室
AUDIO班について

やっていること: 音楽情報処理


情報理工学科で唯一音楽系の研究をやっています！
内容:
音響信号処理
 音楽情報検索・推薦
 音楽アプリケーション
 インタラクション


最終目標: 人間が音楽を聴いて理解することすべてを
コンピュータに理解させる！
2
音響信号処理
演奏したいけど
耳コピは大変…
Music Data
機械で自動的に
譜面ができたら便利！
Score
さまざまな音楽要素の自動認識が必要！
ジャンル、ムード、楽器名、基本周波数(ピッチ)
拍子、テンポ、調、コード etc…
3
音響信号処理
この曲ってなんて
曲名だっけ･･･？
ライブ(生or動画)
前処理
PC･スマホなど
リスナー
和音情報
取得
・楽曲区間抽出
・フィルタリング
・ノイズリダクション
マッチング
この楽曲は、
アーティスト：○○○
曲名：△△△
です。
4
和音情報
音響信号処理

研究室でやっていること

和音認識
間違えやすい和音を音楽理論で
見つけて後処理で修正する
 和音を構成する音のみを抽出して
和音認識


楽曲同定


ライブバージョンに対応
した楽曲同定システム開発
音源同定

音響信号から
未知楽器を同定
スペクトログラム（トランペット,バイオリン,フルート）
5
音楽情報検索・推薦

大量の音楽から好きな曲を探したい！
携帯ミュージックプレイヤーの普及
 ハードディスクの大容量化


提供される技術



音楽信号の内容そのものに
基づいた音楽検索
メタ情報のオートタギング
楽曲推薦・プレイリスト作成
6
音楽情報検索・推薦

楽曲の音響的特徴空間視覚化を利用した音楽検索システム
A
B
C
楽曲Aが好きなあなたには
楽曲B,Cをオススメします
7
音楽アプリケーション
 目標


音楽についての専門知識がないユーザが、音楽コンテンツ
を自身のニーズに合わせて編集･加工できるようなアプリ
ケーションを開発する！
提供される技術

ホームビデオへの自動BGM付与


心理学を利用し曲の印象を可視化、映像と楽曲を同期
楽曲からのスライドショー自動生成

歌詞情報から関連する画像をflickrから取得
8
音楽アプリケーション

演奏動画の盛り上がり検出

Web上の演奏動画を集めて、あたかも一緒に演奏したかのよう
な「合奏動画」を合成したい！
合成

提案手法



盛り上がる箇所に自動で演出付与
ソロ、難しい演奏、奏者がノッてる箇所を検出、演出を付与
音量、オンセット数、動きベクトルなどを特徴量として検討
9
インタラクション

音楽をより楽しく！
自分の指揮にあわせて音楽を鳴らす
 既存の楽器を情報技術で拡張
 Etc…音楽をより楽しくするインタラクション研究

10
インタラクション

センサフュージョンによるネットワーク音楽
インタラクションシステム
システム
http://www.youtube.com/watch?v=kQ4zPVQnhQM
Player2
Player1
ユーザの演奏の
動きを認識
Visual & Sound
FeedBack
ネットワーク
11
インタラクション

確率モデルに基づく候補提案型鍵盤楽器システム


↓

UI実現方法
→プロジェクションマッピ
ング
確率モデル
→単純マルコフモデル
3つの主機能
STEP1 : コード(和音)候
補提示機能
STEP2 : スケール(メロ
ディー)候補提示機能
STEP3 : 転調選択機能
12
村岡眞伍, “確率モデルに基づく候補提案型鍵盤楽器システム”,学士論文,2015
さあ、AUDIO班へ！

Audio班で学べること
音響信号処理プログラミング: Matlab, C, C++, Java
 画像処理プログラミング: Matlab, C++
 機械学習の知識
 音楽理論


多種多様な就職先







ISID(電通国際情報サービス)
任天堂株式会社
KDDI株式会社
ヤマハ株式会社
NEC(日本電気株式会社)
KKE(構造計画研究所)
楽天株式会社
好きな研究をしながら
好きなところに行ける♪
13
さあ、AUDIO班へ！

音楽情報処理はまだまだ新しい分野
 ここ10年で研究用のデータベースやライブラリが用
意され、研究環境が整った
 伸びるのはまだこれから！
 「こんなのあったらいいな」をすぐに持ち込める

音楽情報処理は入りやすい分野
 解析のためのツールやライブラリが充実している
 解析用のデータも多く作られている
「こんなのあったらいいな、やってみたいな」を実現しよう！
14