Comments
Description
Transcript
見えない透かしが映像と情報をつなぐ
電子透かし セカンドスクリーンサービス R&D 映像同期型AR 見えない透かしが映像と情報をつなぐ： モバイル動画透かし技術 NTTメディアインテリジェンス研究所 つつぐち けん あんどう し ん ご かたやま 筒口 拳 /安藤慎吾 あつし た な か ひでのり /片山 淳 /田中秀典 やまもと すすむ たにぐち ゆきのぶ /山本 奏 /谷口行信 モバイル動画透かし技術は，映像に埋め込まれた不可視な情報を携帯端末のカメ ラをかざすだけで高速 ･ 高精度に検出できる技術です．ここでは，技術の概要，TV 放送に適用した事例，および映像同期型AR（Augmented Reality）に適用した事 例を紹介します． 動画透かしを用いたセカンド スクリーンサービス 影 ・ 録音されたコンテンツを自動的に認 識 ・ 識別するためのコンテンツ自動認 識（ACR: Automatic Content Recog＊1 nition）技術 に該当します． ③ バーコード， 2 次元コード：認 識 ・ 識別対象とするコンテンツに， が用いられています．図 明らかに知覚できるバーコードや どの携帯端末の爆発的な普及に伴い， ₁ に動画透かしを用いたセカンドスク QRコードのかたちで情報（ID）を TV番組やCM，デジタルサイネージやイ リーンサービスの例を示します． 提示する手法です． 近年，スマートフォンやタブレットな ④ メタデータ：認識 ・ 認識対象と ベント用映像などを起点として，携帯端 ここでは，セカンドスクリーンサービ 末に関連情報を提示するサービスが注 スへの応用を中心として，ACR技術の するコンテンツと関連付けて，コン 目を集めています． 代表的な手法と応用例を概観し，NTT ピュータが理解できるかたちで情 特に，TVを第 1 のスクリーンとみな メディアインテリジェンス研究所で研究 報を付与する手法で，ハイブリッド し，携帯端末を第 2 のスクリーンとして， 開発されているモバイル動画透かし技 キャストもこれに該当します． 第 1 のスクリーンと第 2 のスクリーンと 術，およびその利用事例を紹介します． を連携させてサービスを提供する，セカ ンドスクリーンサービス（マルチスク リーンサービス）への期待が高まってお り，TVにスマートフォンをかざすと， 放送されている番組やCMの音や映像を ACR技術 ACR技術は大きく 4 つの手法に分類 されます． 自動認識し，連動したキャンペーンサイ 対象とするコンテンツからあらかじ め特徴（フィンガープリント：指紋） を付与したりするトライアルもさかんに を抽出してデータベースに登録して 行われています． おき，問合せ用の信号と照合する からこのようなトライアルに積極的に取 手法です．代表的な手法として， 特徴をデータベースに登録しておく必 要があります．また，②は同じ内容のコ 透かし入り映像 放送・再生 NTTコミュニケーション科学基礎研 り組んでおり，携帯端末を手元に置き 究所で研究開発されているロバス ながらTVも楽しんでもらうための新し トメディア探索技術（1）があります． い視聴スタイルを模索しているという点 ② 電子透かし：認識 ・ 識別対象と です． ①は元のコンテンツを加工しなくても良 いという長所がありますが，あらかじめ ① フィンガープリント：認識 ・ 識別 トやSNSサイトへ誘導したり，ポイント これまでと様相が異なるのは，TV側 各手法とも一長一短があり，例えば， するコンテンツ（静止画像や動画 このようなサービスにおいては，撮 像，音声など）に知覚できない程 ＊1 ACR技術：ここでは， 「著作物として制作さ れたコンテンツを自動的に認識し，特定する 技術」と定義することにします． を埋め込む手法で，ここで紹介す 度の変更を施して情報（IDなど） ID: 0123 透かし検出 関連情報提示 ショッピング エンタメ 教育・福祉 クーポン 図 1 動画透かしを用いた セカンドスクリーンサービス るモバイル動画透かし技術はこれ NTT技術ジャーナル 2014.1 61 ンテンツでも流通経路によって異なる Spread Spectrum）法（3）を用いて電子透 2012年12月に地上デジタル波（地デジ） 情報を埋め込めば，それらを区別できる かしを検出します．技術の特徴と概要 の実放送環境による実証実験を行いま という特徴がありますが，元のコンテン を図 ₂ に示します． した（4）．この実験は，三重テレビ放送株 ツを加工する必要があります．したがっ 現在の実装では，透かし情報として て，これらは互いに補完関係にあり，組 29ビットのID番号を埋め込むことが可 の視聴者を対象に，株式会社オークロー み合わせて使うことによって，より効果 能であり，約 5 億通りのコンテンツを識 ンマーケティング（OLM）が制作 ・ 提 的なサービスになるといえます． 別できる識別性と，誤検出率が所定の 供するTVショッピング番組において電 モバイル動画透かし技術 式会社の地デジ放送を受信できる一般 確率未満であることを定量的に担保す 子透かしを埋め込んだ番組映像を放送 る信頼性を備えています．電子透かし し，視聴者が埋め込まれた透かしをス NTTメディアインテリジェンス研究所 の性質上，対象コンテンツに変更を加 マートフォンで検出することにより，商 で開発されたモバイル動画透かし技術 えることとなりますが，画質の劣化はわ 品購入サイトに誘導するというもので は，携帯電話やスマートフォンでも高速 ずかであり，通常のコンテンツ視聴を妨 す．私たちの知る限り，これは実TV放 検出が可能な，動画向けの電子透かし げるものではありません． 送環境で動画用電子透かしを用いた日 技術です．主に，メディア間同期手段 また，映像にカメラをかざしてから平 としての利用を想定しており，透かしを 均約 1 秒で透かしを検出できる高速性 実験期間中は，ショッピング映像に埋 埋め込んだ動画像に対し，検出アプリ を備えており，ユーザに高い利便性を め込まれた電子透かしを検出するため ケーションを起動した携帯端末のカメラ 提供することができます． のAndroid端末用アプリケーション（ア をかざすだけで，高速に透かしIDを検 出し，関連する情報にアクセスすること が可能です． 実TV放送による実証実験 本で初めての実験です． プリ）を「Google Play」にて公開し＊ 2 ， 一般ユーザが誰でも実験に参加できる 実際にTV番組やCMを起点とするセ ようにしました．また，アプリの操作ロ モバイル動画透かし技術は，四辺 カンドスクリーンサービスを提供するた グをサーバへ送信することで，検出に 形 の 高 速 追 跡 手 法STA（Side Trace めには，実放送環境における電子透か 要した時間や検出成功率などを集計で し検出性能を検証する必要があるととも きるようにしました． （2） Algorithm） を用いてカメラ映像から 映像領域を検出し（そのため，電子透 に，一般のお客さまが難しい操作をす 実験の流れを図 ₃ に示します．実験 かしを埋め込む際に，映像領域の 4 辺 ることなくサービスを受けられる，とい の結果，地上デジタル波により放送さ に細い枠を付加します） ，次に検出され う簡易性が必要となります． れた映像からでも，映像縦幅の 4 ～ 6 た映像領域から，任意のタイミングで透 私たちは，モバイル動画透かし技術 倍離れた距離＊ 3 から市販スマートフォ かし検出が可能な時間同期外し耐性を がTV番組のコンテンツ自動認識技術と ン端末で 9 割の成功率で検出が可能で 持つSFPSS（Single Frequency Plane して適用可能かどうかを検証するため， あり，一般家庭の多様な受信機 ・ 視聴 環境においても，問題なく電子透かしを 検出できることが確認できました．また 映像に埋め込まれた不可視な電子透かしを携帯端末でリアルタイムに検出可能 でも，問題なく電子透かしを検出できて います． 時間 埋め込み ①IDを映像パターンに変換 ②映像パターンを原画に薄く加算 ③シーンごとに異なるパターンを埋込可 ② “ID: 1234” ① “ID: 5678”③ 読み取り 撮影画像 ① ② 時間 NTT技術ジャーナル 2014.1 透かしの検出に要した時間は平均1.7 秒程度であり，一般にユーザが耐えら れるレスポンスタイムは 2 ～ 8 秒以内と いわれていることから，十分な高速性が あるということ，そして一般の方でも問 ①透かし入り映像にカメラ付携帯端末 をかざす ②撮影画像中の表示領域を検出 ③表示領域映像を解析してID検出 ③ “ID: 1234” 図 2 モバイル動画透かし技術 62 放 送 映 像 の み な ら ず， 録 画 映 像 や YouTubeにアップロードしたテスト映像 ・映像の任意の再生位置から高速に検出 ・斜め方向・遠距離からも検出 ・シーンごとに異なる情報を付与 ①∼③を携帯端末上で リアルタイム処理 題なくアプリを操作できることを確認し ました（5）． さらに，インタビュー形式のユーザテ ＊2 本 実 験 はAndroid端 末 の み を 対 象 とし ま した． ＊3 ワイド型TVを視聴する際の推奨距離は，映 像縦幅の ₃ 倍程度といわれています． Ｒ 付き携帯端末が普及する中，商品の広 SyncAR（ビジュアルシンカー） 」は，カ すぐに購入できる利便性や，改めて電 告プロモーションやイベントでのアトラ メラで撮影した映像のタイミングに同期 話をかけなくても購入が可能となる効 クションで多く利用されるようになって した 3 次元CGや情報を重畳表示する点 率性の点で高い満足度を得ており，新 います． が特徴で，映像とCGとを時間的にも空 規顧客層獲得のためのコンタクトポイン 特に静止画のマーカや画像を携帯端 トとしても有効であることが示されま 末のカメラで撮影 ・ 識別し， 3 次元CG した． を重畳表示するアプリケーションがよく 映像同期型AR技術Visual SyncAR 間的にも同期させた，新しいコンテンツ 表現を可能としています． Visual SyncARの基本となっているの 用いられています．従来のAR技術では， は，前述のモバイル動画透かし技術で CGをアニメーション動画として表示す す．Visual SyncARでは，あらかじめ映 ることも可能ですが，識別の対象となる 像に電子透かしとしてタイムコードを埋 静止画像とは独立したものであり，撮 め込み，これを高速に検出することで， 技術は，実世界を撮影した画像にCGな 影の対象と表示するCGとの間に時間的 映像とCGコンテンツを時間的に同期さ どの仮想的な情報を重畳表示し，拡張 な連携はありませんでした． 拡張現実感（AR: Augmented Reality） スマートフォンのように高性能なカメラ せます．また，撮影画像上の映像領域 NTTメディアインテリジェンス研究所 を高速検出してカメラの撮影位置や向 が開発した映像同期型AR技術「Visual きを推定することで，従来のAR技術と された現実を表現する技術です．近年， 同様に空間的に同期されたCGコンテン ツの重畳表示を行うことが可能です（6）． Google Play から配布 ユーザ ダウンロード＆インストール 三重テレビ OLM ： 透かし検出アプリの 放送エリア（ 280 万世帯） ・三重県全域 ダウンロード＆ ・愛知県の一部（含・名古屋） インストール ・岐阜県の一部 Visual SyncARは，撮影しているカメ ラ位置が変化しても適切な画面位置に んのこと，映像の早送り ・ 巻き戻しで再 インフォ マーシャル 入稿 これらの仕組みを図 ₄ に示します． CGコンテンツを表示できるのはもちろ 透かし 埋め込み 放送 NTT 透かし検出 アプリ 生位置が変化しても，映像と時間的 ・ 透かし 埋め込み 技術 透かし入り映像 空間的に同期したAR表示を素早く行う ことが可能です．Visual SyncARを用い ることにより，映像コンテンツが演劇で いう「第四の壁＊ 4 」を越えて飛び出す アクセス 透かし検出 ような，映像と多様な情報を組み合わ せた今までにない携帯端末向け映像表 購入サイト 現が可能になります． Visual SyncARを用いて映像コンテン 図 3 実証実験の流れ ツを視聴している様子を図 ₅ に示しま す．タブレットの画面では，あたかも映 像の中から階段が飛び出してきて，CG 高速な電子透かしの検出による 時間方向の同期 高速な映像領域の検出による 撮影方向の推定 キャラクターが元の実写映像中のダン サーと同期して踊っている様子が伺えま す．参考文献（7）において，実際に動い 元映像 ているデ モの 様 子を見ることができ 電子透かし 0 1 2 3 4 5 ます． 6 Visual SyncARは，このような新しい 電子透かし検出 映像表現の手段としてだけではなく， TV画面を右から見ている CG コンテンツ 例えば，公共施設などの案内映像に携 帯端末をかざすことで聴覚障がい者向 再生時刻を表す電子透かしを高速に検出し, CGと映像のタイミングを同期させて表示 映像領域の四隅座標を高速に検出し, カメラの撮影位置・方向に合わせてコンテンツを表示 図 4 Visual SyncARの仕組み けの手話CGや外国人向けの翻訳文を映 ＊4 第四の壁：フィクションの世界と観客のい る現実世界との境界を表す概念のことです． NTT技術ジャーナル 2014.1 63 ＆Ｄホットコーナー ストも行い，購入したいと思ったときに ■参考文献 図 5 Visual SyncARを用いた映像コンテンツの視聴 （1） 川西 ・ 向井 ・ 平松 ・ 黒住 ・ 永野 ・ 柏野：“音楽 や映像を特定するメディア指紋技術とその応 用， ” 応用数理，Vol.21，No.4，pp.49-52，2011． （2） 片山 ・ 中村 ・ 山室 ・ 曽根原：“電子透かし読 取りのためのiアプリ高速コーナ検出アルゴリ ズム， ” 信学論，Vol.J88-D-II，No.6，pp.10351046，2005． （3） 山本 ・ 中村 ・ 安野：“単一周波数平面スペクト ル拡散を利用した時間同期外し耐性をもつ動 画 電 子 透 か し， ” 信 学 論，Vol.J90-D，No.7， pp.1755-1764，2007． （4） http://www.ntt.co.jp/news2012/1212/121206a. html （5） 安藤 ・ 山本 ・ 筒口 ・ 片山 ・ 谷口：“地上デジタ ル放送における映像向けモバイル電子透かし の 実 証 実 験， ” 映 情 学 技 報 メ デ ィ ア 工 学， Vol.37，No.38，pp.57-62，2013． （6） 山本 ・ 安藤 ・ 筒口 ・ 片山 ・ 谷口：“モバイル動 画透かし技術で実現する映像同期型AR: Visual SyncAR， ” 第41回画電学大会，2013. 6 ． （7） http://jp.diginfo.tv/v/13-0014-r-jp.php （8） http://www.hikarikumamoto.jp/service2.html 図 6 Visual SyncARを用いたトライアル 像に合わせてリアルタイムに表示した が取り組んでいるモバイル動画透かし り，教育用映像に補足情報を重畳表示 技術の概要と，セカンドスクリーンサー したり，あるいはデジタルサイネージの ビスに関連した事例について紹介しま フロアガイドにスマートフォンをかざす した． だけで，店舗へナビゲートする，といっ た応用例も考えられます． 現在， 「スマートひかりタウン熊本」 プロジェクトにおいて，観光拠点「くま ここで紹介したような映像を起点とし NTTメディアインテリジェンス研究所は， より利便性のあるサービスを実現すべく， 映像と情報との連携を実現する研究開発を 進めていきます． す ぐ に 提 供 可 能 な も の に つ い て は， NTTグループ会社での商品化を進めて ＊5 トライアルは2014年 7 月までの予定です． 64 NTT技術ジャーナル 2014.1 （前列左から） 安藤 慎吾/ 片山 淳/ のものと密接に関連したサービスなど， います． NTTメディアインテリジェンス研究所 谷口 行信 SyncARを用いたトライアル＊ 5 をNTT西 今後の展開 たメディア間の連携サービスや映像そ モンスクエア」の活性化に向け，Visual 日本と共同で実施しています（8） （図 6 ） ． （後列左から） 筒口 拳/ 山本 奏/ 今後は，さらにより良いサービスを実 現するための研究課題の解決に取り組 みつつ，サービス創造を目指して研究 開発を進めていきます． 田中 秀典 ◆問い合わせ先 NTTメディアインテリジェンス研究所 画像メディアプロジェクト TEL 046-859-8611 FAX 046-855-1062 E-mail wmtv lab.ntt.co.jp