Comments
Description
Transcript
冒頭テロップ検出によるニュース番組の自動構造化
一般論文 冒頭テロップ検出によるニュース番組の自動構造化 Automatic segmentation of News programs by detecting the title open caption 宮里 肇 Hajime Miyasato 要旨近年 T V 放送の多チャンネル化や，H D D , D V D - R W といった蓄積メディアの低廉化， 大 容 量 化 に 伴 い ，ユ ー ザ が 多 く の コ ン テ ン ツ を 手 軽 に 蓄 積 で き る よ う に な っ た 。しか し ユ ー ザ が コ ン テ ン ツ 視 聴 に 使 え る 時 間 は 限 ら れ て い る 。そ の た め ， 見 た い コ ン テ ン ツだけを素早く見ることのできるシステムの実現が期待されている。 筆 者 は ，冒 頭 テ ロ ッ プ を 検 出 す る こ と で ， ニ ュ ー ス 番 組 を ト ピ ッ ク ご と に 自 動 構 造 化 す る 手 法 を 考 案 し た 。構 造 化 さ れ た ニ ュ ー ス 番 組 は ，ト ピ ッ ク ご と の メ ニ ュ ー 表 示 が 可 能 と な る の で ， ユ ー ザ は 興 味 を 持 っ た ト ピ ッ ク の み を 短 時 間 で 視 聴 で き る 。本稿 では，このニュース構造化手順を説明し，実験結果を示す。 SummaryUsers have access to many TV programs easily in recent years with the benefit of large and cheap storage media, such as HDD, DVD-RW. However users are too busy to watch TV. Therefore, a system to play users' favorite content quickly would be useful. The author proposes a method for segmenting News programs into every topic by detecting the title open caption. Segmented news program can generate a topic menu, then the user can see their favorite topic quickly by using the topic menu. In this paper, the author explains how to segment News programs, and shows the experimental results. キーワード：自動構造化，ニュース番組，冒頭シーン，要約再生，テロップ 1. まえがき が期待されている。 近年 T V 放 送 の デ ジ タ ル 化 や 多 チ ャ ン ネ ル 化 このようなシステムを実現するには，まずコ に伴い，ユーザが入手できるコンテンツの数は ンテンツの構造化が必要である。例えばコンテ 増加の一途をたどっている。またハードディス ンツのシーンごとにタイトルやコメントを付 クや D V D - R W といった蓄積メディアの低廉化， け，それをメニュー表示することで，ユーザは 大容量化と相まって，ユーザが記録保存できる コンテンツ全てを視聴しなくても全体を把握で コンテンツの量は膨大なものになりつつある。 きる。さらにメニュー項目から興味を持った しかしユーザがコンテンツ視聴に使える時間は シーンを選択し，そのシーンからコンテンツを 限られている。そのため，見たいコンテンツだ 再生するアプリケーションを開発することも可 けを効率良く探すことができるシステムの実現 能である。しかしコンテンツの構造化を人手で PIONEER R&D Vol.14 No.1 - 72 - 行なった場合， 非常に手間がかかるため，処理 認識や音声認識，話者認証といった複雑な処理 の自動化が強く望まれていた。そこで筆者は， を必要とする。さらにこれらの特徴は，ニュー ニュース番組を自動構造化する手法について研 ス番組によっては当てはまらない場合も多い。 究を行なった。 例えばアナウンサの顔は画面中央にあるとは限 らず，画面隅に存在することもある。冒頭シー 2. ニュース番組の自動構造化 ン同士は画面の類似度が高い，という点も同様 2.1 である。 ニュース番組の一般的構造 図 1 に一般的なニュース番組の構成を示す。 2.3 本研究でのニュース自動構造化手法 図示したように，一つのニュース番組は通常複 ニュース番組を自動構造化するにあたり，筆 数のニュース項目( 以降トピック) から成る。さ 者はニュース番組内の｢ 冒頭テロップ｣ に注目し らに各トピックは大きく分けて｢ 冒頭シーン｣ と た。冒頭テロップとは図 2 のように，ニュース ｢ 詳細シーン｣ の 2 つから構成される。冒頭シー の冒頭シーンに出現するタイトルテロップ( こ ンとは，アナウンサがトピックの概要について の例では｢ 日経平均反発 1 万 5 , 0 0 0 円台回復｣ 説明するシーンである。一方詳細シーンとは， のテロップ) のことである。このような冒頭テ トピックについて細かく説明するシーンで，取 ロップは，ニュース番組ごとにフォントや出現 材映像をバックにニュース内容を解説するシー 位置などの違いはあるものの，ほぼ全ての ンや，ニュース現場からのレポートシーンな ニュース冒頭シーンに見られるものである。そ ど，多くの場合，複数のシーンから成ってい こで筆者はニュースに出現するさまざまなテ る。この 2 つのシーンは｢ 冒頭シーン｣ ｢ 詳細 ロップから，このような冒頭テロップが自動検 シーン｣ の順に出現するので，各トピックの冒 出できれば，ニュースの冒頭シーンを検出する 頭シーンを検出すれば，ニュース番組をトピッ ことが可能と考えた。 クごとに構造化することが可能となる。 2.2 従来のニュース自動構造化手法 ニュース冒頭シーンを自動検出するための研 究は，従来から広く行なわれている ( 1 ) ( 2 ) 。これ らの研究では，冒頭シーン検出を実現するの に，以下のような特徴を抽出している。 ・ 画面中央にアナウンサの顔がある。 ・ アナウンサがニュース原稿を読み上げる。 ・ 冒頭シーンの前後には，無音部分がある。 ・ 冒頭シーン同士は，画面の類似度が高い。 しかし，これらの特徴を抽出するには，顔画像 図 2 冒頭テロップ 図 １ ニュース番組の一般的な構造 - 73 - PIONEER R&D Vol.14 No.1 3. 冒頭テロップ検出手法 で分割したとき，内部の静止エッジが一定数以 冒頭テロップ検出手法を述べる。冒頭テロッ 上のブロックを指す。テロップが消失するとき プ検出は，｢ テロップ検出｣ ｢ テロップ分類｣ ｢ 冒頭 ( つまり静止エッジが消失するとき) ，エッジブ テロップ判定｣ の 3 ステップで行なう。 ロックもまた消失する。よって消失のタイミン 3.1 テロップ検出 グが同じエッジブロックを， 近距離のもの同士 最初に，ニュース映像からエッジ( 隣り合う でまとめて整形( 矩形化) することで，テロップ 画 素 の 輝 度 差 が 急 峻 な 部 分) を 検 出 す る 。 画 面 領域を特定できる。元映像からテロップ領域を 内エッジ検出はラプラシアン法を用いる。つま 特定するまでの流れを図 3 に示す。 り座標( i , j ) の画素の輝度を f ( i , j ) とし，ラプラ テロップエッジ( テロップと背景画像の境界) シアンのオペレータ行列を A ( 式 1 ) としたとき は輝度の明暗がはっきりしているので，得られ の の大きさにより，座 たテロップ領域の中から中間輝度エッジの除去 標( i , j) のエッジ判定を行なう。さらに得られた を行い，テロップエッジのみを高精度に抽出す エッジを時間軸方向に観測し，位置が変わらな る。具体的には，まず特定されたテロップ領域 いエッジ( 静止エッジ) を検出する。ニュースの 内で再度エッジ検出を行い， 次にエッジ画素の テロップは基本的に静止エッジで構成されるた 輝度ヒストグラムを作成し，それを高輝度 / 中 め，静止エッジの検出によりテロップ検出が可 間輝度 / 低輝度に分類する。 能となる。なお，画面内をスクロールするテ 分類には，大津の自動閾値選定法( 3 ) を用い ロップは静止エッジとならないが，このような た。これは画像の輝度ヒストグラムを適応的に テロップは冒頭テロップではないため無視する。 高 / 低輝度領域に二値化するものである。今回 はこの手法を二段階適用し， 図 4 のようにエッ (式 1) ジ画素を三つの領域に分類した。テロップ領域 のエッジのうち，この中間輝度からなるものを 次にエッジブロックの検出を行なう。エッジ ブロックとは，画面をブロック単位( 8 x 8 画素) 図 3 PIONEER R&D Vol.14 No.1 除去することにより，テロップエッジのみが高 精度に抽出できる。 テロップ領域の検出手法 - 74 - 図 4 3.2 輝度ヒストグラムの分類 テロップ分類 3.3 冒頭テロップ判定 得られたテロップエッジを元に文字部分の抽 検出された全てのテロップに対し，それが冒 出を行い，テロップ情報を取得する。ここでテ 頭テロップであるかどうかの判定を行なう。冒 ロップ情報は，次の三要素からなる。 頭テロップの判定にあたり，まず冒頭テロップ ・ テロップ位置 の性質を明確にする必要がある。本研究では冒 ・ 文字サイズ 頭テロップの性質を以下のように定義した。 ・ 出現フレーム 性 質 1 ：文 字 サ イ ズ が 比 較 的 大 き い 。 次に検出された全てのテロップについて，テ 性質 2 ：毎回ほぼ定位置に表示される。 ロップ位置と文字サイズのペアが等しいもの同 性 質 3 ：複 数 回 表 示 さ れ る 。 士でテロップを分類する。 性 質 4 ：画 面 下 部 に 表 示 さ れ る 。 - 75 - PIONEER R&D Vol.14 No.1 4. 実 装 性質 5 ：各冒頭テロップ間は，一定以上の時 間間隔がある。 前述した冒頭テロップ検出手法をアルゴリズ 性質 6 ：ニュースの前半に出現しやすい。 ム化し， 以下の P C 環境にて実装した。 これらの性質について補足する。 ・ OS：Microsoft Windows 2000 性質 1 : ・ CPU：Intel Pentium4 2.0GHz ・ニ ュ ー ス 番 組 に は 冒 頭 テ ロ ッ プ の 他 に ， ・ メモリ：512MByte アナウンサなどの人名テロップ，会話テ また製品への機能搭載も考慮し，組込ベース ロップ，C M テロップなどさまざまなテ ( D S P ) の実装も行なった。 ロップが存在する。冒頭テロップはト ・ DSP：TI 社製 TMS320C6711(動作クロック ピックの内容を端的に分かりやすく視聴 150MHz, 900MFLOPS) 者に示すことを目的としているので，こ ・ メモリ：外部 RAM 16MB れら他のテロップと比べて目立たせる傾 ・ コードサイズ：約 2 0 0 K B 向がある。 D S P 実装では，P C とほぼ同等のアルゴリズム 性質 2 : を用いてリアルタイムでのテロップ検出および ･ トピ ッ ク ご と に 冒 頭 テ ロ ッ プ の 位 置 を 変 分類を実現した。DSP の負荷は 5 0 % 程度であり， 更することは殆ど無い。 必要なメモリサイズ( 実行コードを除く) は 性質 3 : ニュース 1 時間につき 2 K B 程度であった。 ・少なくとも 1 0 分以上のニュース番組で なお処理の最適化を行なうことにより，処理 あれば，トピックは複数あるため，冒頭テ 負荷やコードサイズ等はさらに軽減できると考 ロップもまた複数存在する。 えられる。 性質 4 : ・冒頭シーンは，アナウンサのバスト 5. 実 験 ショットとなる場合がほとんどである。 実際のニュース番組から冒頭テロップを検出 そのため，アナウンサの顔を隠さないよ する実験を行なった。まず代表的なニュース番 う，冒頭テロップは通常画面下部に表示 組を元に，表示位置や文字サイズの一致条件な される。 ど各種パラメータの最適化を行った。そこで良 性質 5 : 好な結果が得られたことを確認したのち， この ･ 冒頭シーンの後には必ず詳細シーンが続 方式やパラメータの妥当性を見るため，在京 6 くため，各冒頭テロップの間には一定以 局で現在放送されている番組時間が 3 0 分以上 上の時間間隔がある。 のニュースを対象とし，冒頭テロップ検出実験 性質 6 : を行った。結果を表 1 に示す。なお表中で ・ニュース番組の後半には，天気予報な 再現率＝良検出数／冒頭テロップ数 ど，ピック以外のコーナーが多く設けら 適合率＝良検出数／( 良検出数＋誤検出数) れる傾向がある。よって，冒頭テロップ である。再現率は最小 7 2 . 7 % ，平均は 9 2 . 3 % で は，ニュースの前半に出現する可能性が あった。 高い。 6. テロップを用いたメニュー表示 先ほど分類したテロップ集合を，冒頭テ ロップの持つこれらの性質と照合することで冒 検出した冒頭テロップ情報を用いることで， 頭テロップ判定を行なう。この結果，最も照合 ユーザが興味を持ったトピックのみを素早く視 率の高いものを冒頭テロップとして決定する。 聴できるアプリケーションが実現できた。 実現 PIONEER R&D Vol.14 No.1 - 76 - 例を図 5 に示す。 不要となる。 まず元となるニュース映像から，冒頭テロッ プ情報に基づいて冒頭テロップ画像を切り出し 7. まとめ ておき，それをボタンとした番組メニューを作 冒頭テロップを検出することにより，ニュー 成する( 図の左側) 。ここで各ボタンには，対応 ス番組の自動構造化を行なった。 する冒頭シーンの再生開始時間を登録してお 処理内容はテロップ検出がメインであるた く。このようなアプリケーションを利用するこ め，従来のニュース自動構造化に関する手法と とで，ユーザはメニューから興味のあるトピッ 比べて処理負荷の軽いシステムとすることが出 クを選択し，そこからトピックを視聴できる。 来た。今後は，精度改善など手法の改良と，新 番組メニューのボタンとして冒頭テロップの 画像自身を用いるため，文字認識などの処理が 表 1 図 5 たな自動構造化手法について研究を進め，有効 な手法を探っていきたいと思う。 冒頭テロップ検出結果 冒頭テロップを用いたメニュー表示 - 77 - PIONEER R&D Vol.14 No.1 参 考 文 献 ( 1 ) 有木: " D C T 特徴のクラスタリングに基づ くニュース映像のカット検出と記事切り出 し " , 電子情報通信学会論文誌 , V o l . J 8 0 - D Ⅱ ,No.9,pp.2421-2427,1997. ( 2 ) 斎藤 , 有木: " ニュース画像のデータベー ス化に向けて - ニューススタジオの映像検 出と記事切りだし " , 画像電子学会 , 第 1 4 9 回研究会 , 9 5 - 0 4 - 0 4 , p p . 1 3 - 1 6 , 1 9 9 5 . ( 3 ) 大津: " 判別および最小 2 乗基準に基づく 自動しきい値選定法 " , 電子情報通信学会 論文誌 V o l . J 6 3 - D , N o . 4 , p p . 3 4 9 - 3 5 6 , 1980. ( 4 ) 宮里 , 田畑: " テロップを用いたニュース 番組の自動ハイライト作成 " , F I T ( 情報科学 技術フォーラム) 一般講演論文集 , 第 3 分 冊， p p . 7 5 - 7 6 , 2 0 0 3 . 筆 者 宮 里 肇 ( みやさと はじめ) 所属: 研究開発本部 総合研究所 ストレー ジシステム研究部 入社年月: 1 9 9 9 年 4 月 主な経歴: M P E G - 7 応用の研究開発を経て， 現在総合研究所にて，マルチメディアコン テンツ応用開発に従事。 PIONEER R&D Vol.14 No.1 - 78 -