Comments
Description
Transcript
スマートフォンによる環境音認識のためのソーシャル ゲームを用いた学習
年次活動報告書 2013 スマートフォンによる環境音認識のためのソーシャル ゲームを用いた学習用環境音データ収集機構の実現 大阪大学 大学院 情報科学研究科 准教授 前川卓也 顔写真 1. はじめに 人が行っている行動の情報は，ライフログやコンテキ ストアウェアサービスといった様々な実世界アプリケー ションの根幹的情報である．行動を認識する手法の一つ に、ユーザがもつスマートフォンのマイクで録音した環 境音を用いる手法がある。日常生活には様々な音があり、 大別すると話し声、人の行動から生じる音（流水音、使 用している機器の音など） 、ユーザがいる場所で流れてい る背景音（駅のアナウンスや電車の走行音など）がある。 これらの音を用いて、例えば掃除機の音を認識すればユ ーザは掃除機をかけていると推測でき、電車の音を認識 すればユーザは駅で電車の乗降をしていると推測できる。 3 つに分類した音のうち、 人の行動から生じる音とユーザ がいる場所で流れている背景音を合わせて環境音と呼ば れる。本研究では行動の認識を行うために必要な環境音 の学習データの収集を促すことを目的とする。 図1: 「Sonic Home」のスクリーンショット 本研究では、Android スマートフォンを用いて環境音 を収集、アップロード、評価するソーシャルゲームであ る「Sonic Home」を提案する。 「Sonic Home」では、ユ ーザが日常生活で環境音を収集し、アップロードするな どして、ゲーム上の仮想通貨である sonicoin を獲得し、 得られた sonicoin を用いて家具などのアイテムを購入し て自身の仮想的な家を装飾する（図1） 。環境音から行動 認識を行う場合、最も重要な課題は学習に必要な環境音 のサンプルを数多く収集することである。汎化性能と推 定精度の高い環境音認識モデルを構築するためには、環 境音の収集効率が高く、多種多様な音を収集でき、品質 の保証された環境音を収集できる枠組みが必要である。 本研究では、収集効率と音の種類の問題を解決するため に「ランキング」と「キャンペーン」機能を実装し、音 の質の問題を解決するためにユーザ間で行われる音の評 価を用いる。 2. Sonic Home の概要 本研究の目的は、ゲーミフィケーションを用 いて、環境音の収集と評価をユーザに促し、良 質な環境音を数多く取得することである。ユー ザが自身の仮想的な家を飾リ付けるためには、 ゲーム上の仮想通貨である sonicoin を多く獲 得しなければならない。Sonicoin を獲得する方 法は主に 2 つある。1 つは環境音を収集し、ア ップロードする方法である。環境音収集画面 （図 2）では、ユーザが収集する音のカテゴリ を選択し、録音ボタンを押すことにより音声が 録音される。 図2: 環境音録音画面 もう 1 つの方法は他のユーザがアップロー ドした環境音を評価する方法である。環境音を アップロードすると、その音に対応した家具や アイテムを購入することができるようになる。 例えば自動車のエンジン音をアップロードし た場合、家具やアイテムを購入することができ る売場画面（図 3）において、自動車のアイテ ムが購入が可能になり、購入したアイテムはユ ーザの仮想的な家に配置（図 1 参照）すること ができる。 -1- 年次活動報告書 2013 図3: アイテム売買画面 他ユーザの家をランキング形式で列挙する 画面（図 4）において、他のユーザの家を選択 するとそのユーザがどのように自身の家を飾 り付けられているのかが閲覧できる。ここで、 選択したユーザの家に洗濯機のアイテムが配 置されていた場合、配置された洗濯機のアイテ ムをタップすることで、選択したユーザの収集 した洗濯機の音に対する評価を行うことがで きる。環境音の評価は「良い」と「悪い」の 2 通りで、カテゴリが異なる音、大きな雑音が混 ざっている音、必要な箇所以外が混入している 音は「悪い」と評価するように通告するウィン ドウを環境音評価画面の横に表示する。 図4: ランキング画面 以上の方法で、ユーザはsonicoin を獲得して自身の家 を飾り付けることができ、積極的にゲームへ参加すると 考えられるが、さらに「ランキング」 、 「キャンペーン」 機能を実装することでユーザの環境音収集を促す。 2.1. ランキング機能 「ランキング」機能はゲームのユーザに他のユーザと の競争意識を芽生えさせるために有効なゲーミフィケー ション手法の一つである。 「Sonic Home」では各ユーザ のホーム画面にそのユーザの家の順位を常に表示してい る。さらに、ランキングの上位 3 位以内のユーザにはト ロフィーのアイコンを称号として表示し、上位ランキン グのユーザの家を列挙して表示する画面も用意している。 「ランキング」機能はユーザに競争意識をもたらすだけ でなく、他のユーザの家を閲覧させる機会を与えるとい -2- う利点がある。他のユーザの家を見ることによって、よ り面白く、豪華な家を作る意欲がわき、ユーザはより積 極的にゲームに参加すると考えられる。 2.2. 「キャンペーン」機能 これまでに少数しか収集されていない音に対して、収 集を促す「キャンペーン」機能を説明する。キャンペー ン画面には、キャンペーン対象の音の種類とその達成度 合、キャンペーンの開始と終了日時が表示される。ユー ザは定められた音を指定された期間内にアップロードや 評価を行うことによりキャンペーンポイントを取得する。 アップロードした場合と評価した場合に得られるキャン ペーンポイントの量が異なるため、例えば収集数が少な い環境音に対しては、アップロードにより得られるキャ ンペーンポイントを増やすなどの調整を行うことで、ア ップロード数や評価数の調整を行うことができる。キャ ンペーンを達成することでアップロードや評価した際に 通常得られる20 から30 倍のsonicoin と、キャンペーン 以外では得られない特殊なアイテムが与えられる。 3. 手法の評価 本研究で実装したゲーミフィケーションを用いた手法 である「ランキング」機能と「キャンペーン」機能を公 開する前と後でアップロードされた音の数や音の評価数 にどれほど変化が表れたのかを評価する。 「ランキング」 機能と「キャンペーン」機能を公開した後で、音のアッ プロード数や評価数にどのような変化が表れたのかを図 5 に示す。 「Sound」 とラベル付けされた折れ線グラフは、 収集された環境音の総数の日毎の変化を表し、 「Evaluation」とラベル付けられた折れ線グラフは、ア ップロードされた音の評価の総数の日毎の変化を表して いる。 「Ranking」とラベル付けられた矢印が示す期間は 「ランキング」機能が公開された期間であり、 「Campaign」とラベル付けられた矢印が示す期間は「キ ャンペーン」機能が公開された期間である。グラフから、 「ランキング」機能の公開前と比べ、公開後は環境音の アップロードと評価の総数が大きく増加したことが分か る。またキャンペーン機能により評価数が大幅に増加し ていることが分かる。 図5: 環境音の収集と評価の実験結果