楽曲スライドショー自動生成システムを開発 ～歌詞に適した良質な写真

【報道発表資料】
株式会社 KDDI 研究所
2011 年 2 月 7 日
楽曲スライドショー自動生成システムを開発
～歌詞に適した良質な写真をネット上から収集して自動生成～
株式会社 KDDI 研究所（本社：埼玉県ふじみ野市、代表取締役所長：秋葉重幸）と早稲田大学
(大学院理工学術研究科：甲藤二郎教授)は、歌詞の雰囲気に適した写真をネット上から収集し、効
果的に楽曲と同期させて再生することが可能な楽曲スライドショー自動生成システムの開発に成
功しました。このシステムにより、ユーザは歌詞付きの楽曲をシステムに入力するだけで手軽に
良質な楽曲スライドショーを自動で作成することができます。
【背景】
音楽や写真のデジタル化が進み、コンテンツを編集・連携させることが可能になり、視覚効果
を付与してコンテンツを連携させるための編集ソフトなどが市販されています。一般的に、音楽
と写真を連携させた楽曲スライドショーでは楽曲の雰囲気に適した写真を効果的に同期させて再
生することで、空間を彩る魅力的なスライドショーを作成することができます。しかし、個人が
このようなスライドショーを作成するためには、市販のソフトを利用して適切な写真の収集や選
定に加え、切換えタイミングの調整などの作業に多くの労力を要していました。
【技術的特長】
今回開発したシステムでは、楽曲の歌詞を解析し、楽曲の雰囲気に適した良質な写真をネット
上から自動で検索し、楽曲と同期させて再生する楽曲スライドショーを自動で作成することを可
能としました。具体的には、１）歌詞全体から季節や時間帯などの印象情報の推定、２）楽曲の
進行に同期した良質な写真を Flickr※１※２などのタグ付き写真共有サイトから収集するための検
索キーワード抽出、３）収集したタグ付き写真からの印象に合致した写真の自動選定、４）歌詞
の進行に同期した写真切替タイミング制御などの独自技術により、良質なスライドショーの自動
生成を実現しています。
今回開発したシステムにより、これまで課題であった制作作業に要する時間を大幅に短縮でき、
個人が手軽に楽曲スライドショーを作成することが可能になります。本システムの性能を検証す
るために、一般の 20-50 代の男女一般 42 名を対象として、歌詞に含まれる単語を用いて写真を検
索する従来方式との比較実験を行ったところ、約 8 割の被験者が、提案システムによって作成さ
れた楽曲スライドショーの方が歌詞の情景に適しているなど、完成度が高いと評価しました。
【利用例と今後の展望】
今回開発したシステムにより、個人が購入した歌詞付きの楽曲を良質なスライドショーととも
に楽しむことが可能になります。例えば、クリスマスや誕生日パーティなどで、楽曲スライドシ
ョーを利用して会場の雰囲気を盛り上げることができます。さらに、スライドショーに自身の写
真を織り交ぜて音楽とともに楽しむなど、新たなマルチメディアコンテンツを手軽に作成するこ
とができます。今後はシステム動作の高速化を図ったうえで、デジタルフォトフレームやスマー
トフォンなどの携帯端末上での楽曲スライドショーアプリとして実用化に向けた検討を進める予
定です。
以上
※１ ネット上で写真を公開・共有する WEB サービス。ユーザは公開されている写真に対してタグを付与することが可能です。
※２ Flickr はヤフー！インコーポレイテッドの登録商標です。
本件に関するお問合せ先
株式会社ＫＤＤＩ研究所 営業企画グループ
TEL:049-278-7545
E-mail：[email protected]
【補足資料】
ポイント１：印象推定
歌詞全体から受ける印象を推定
Ex. 春、朝、晴れ
②楽曲スライド
ショー生成
ポイント２：キーワード抽出
高品質な写真をネット上から収集
するためのキーワードを行や段
落から抽出
楽曲スライドショー
楽曲歌詞
デジ タルフォトフレーム MP3プレーヤ
①楽曲選択
③再生
私も⾒に⾏くわ 汽⾞に乗って
幾千もの朝に 花の咲く季節に
泣き疲れたの？ 笑って
これからきっと会えるから
検索
キーワード
季節が変わる前に 都⼼の空に 浮かぶ雲
熟睡する前に 会いに⾏くから
写真共有
サイト
窓から⾶び込んでくる
景⾊はまるで
昨年と同じような 春の夢
私も⾒に⾏くわ
汽⾞に乗って
候補写真群
幾千もの朝に
⾬上がりの気持ち良い空
毎朝来るよ 花の咲く頃に
荒川 渡って 叫ぼう
懐かしい景⾊に 飲み騒ぐ⼈たち
花の咲く季節に
桃⾊の宴は 桜の花に彩られる
選択写真
ポイント３：関連度計算
タグと推定印象の関連度によ
り写真を自動選定
⾬上がりの気持ち良い空
毎朝来るよ 花の咲く頃に
ポイント４：自動切替制御
歌詞の長さに応じて
適切な切替タイミングを計算
楽曲スライドショー自動生成システムの処理の流れ