クローズドキャプションを利用 したテレビ番組の話題分割技術

旅行，料理，グルメ，健康などの情報系番組
クローズドキャプションを利用
したテレビ番組の話題分割技術
映像・音声
データ
番組の見たい部分だけを選び，
効率的に視聴
旅行番組
話題 1
00:00:00
番組のジャンルに応じて，
知識を切り替えて処理
話題 2
00:03:17
料理番組
話題 1
00:00:00
今日はしゅんの素材を
使った料理を作ります。
…
まず，最初の料理は
くりごはんです。
……
では，次は，秋なすと
きゅうりのいため物
……
さらに，もう一品。
きのこの香り揚げ
…
クローズドキャプション
と EPG
話題分割
…
話題 3
00:07:50
00:05:21
話題 5
00:13:11
話題 2
…
話題 3
00:08:32
ジャンル推定
まっています。
旅行番組
東芝は，こうしたニーズに応え，番組の字幕テキスト
話題 1
箱根
富士
（クローズドキャプション）を利用して，一つの番組を
話題ごとに自動分割し，各話題の内容を簡潔に示すテ
キスト情報を自動抽出する技術を開発しています。話
題分割では，話題の転換を表すことばに着目した方法
と，語彙（ごい）の推移に着目した方法の 2 通りの方法
を用いて，番組を高精度に自動分割できます。
00:00:00
話題 3
きのこの
ソテーサラダ
語彙の
推移で
分割
単語・固有
表現抽出
素材
…
料理，くり，ごはん
くり，米，
くり
結果の
統合
なす，きゅうり，あえ物
なす，
きゅうり，なす
ジャンル：
料理番組
きのこ，香り揚げ
きのこ，いんげん
00:13:11
スープグラタン
地場野菜
話題 2
00:05:21
“もう一品”
…
00:07:50
○×ホテル
チェックイン
話題 1
料理番組
話題 3
00:08:32
…
図 2．話題分割とテキスト抽出結果の画面例 ̶ 話題ごとにサム
ネイルと見出しのテキストを付けて提示しています。選択中の
話題に対しては，複数のサムネイルを表示しています。
00:12:01
100
50
えびのキャ かものロースト
ベツ包み焼き
0
EPG：電子番組ガイド
図 1．映像構造化処理の概要 ̶ クローズドキャプションを利用して，番組
を話題ごとに分割し，各話題に付与する見出しを生成します。
料理
料理及び
トークバラエティ
グルメ
グルメ及び
カウントダウン
旅行
旅行及び
対戦形式
図 4．話題分割の精度 ̶ 自動分割の分割精度は，6 ジャンル平均で約 80 ％となって
います。
見”の環境を実現します。例えば旅行
ザーは，これらから自分の興味のある
彙の推移による方法では，番組の中で
いる番組の数に対して，評価データ数
ます。更に，テキスト抽出技術により
録画した TV 番組の
“つまみ見”
番組の中から，ユーザーが興味のある
話題を見つけて，番組の中を“つまみ
使われる地名の変化から，話題の切れ
はまだまだ少ないですが，人による分
分割した各話題に対して，内容を示す
ハードディスク（HDD）の大容量化
レストラン情報の部分だけを視聴でき
見”できます。
目を検出できます。最終的に，二つの
割と比べて大きく見劣りしない結果と
テキストの見出しを自動で付与するこ
や TV 放送の多チャンネル化により，
るようにすることを目指しています。
方法の結果を統合して，話題の切れ目
なっています。
ともできます。
話題分割技術の仕組み
パ ソ コ ン や HDD レ コ ー ダ な ど で 録
画・蓄積できる TV 番組の容量は増加
話題分割に基づく映像構造化
を決定します。
関連技術
キー技術である話題分割処理の概要
評価結果
話題分割に基づく映像の構造化処理
を図 3 に示します。番組開始からの経
聴に費やせる時間は限られています。
の概要を図 1 に示します。番組のク
過時間を示すクローズドキャプション
情報系番組の 6 ジャンル，25 コンテ
今後，録画機器の大容量化が更に進む
ローズドキャプションを利用して，番
のタイムスタンプ（時間情報）を対象と
と，録画した番組の中から視聴者が見
組を話題ごとに自動分割し，分割され
たい部分をすばやく探すニーズが高ま
た各話題の内容を簡潔に示すキーワー
ると考えられます。
ドや代表文を抽出して，テキストの見
しています。しかし，個人が映像の視
そこで，番組のクローズドキャプ
72
話題 2
00:03:17
00:00:00
“では次”
図 3．話題分割の処理フロー ̶ 2 通りの方法で番組を分割し，最終的に結果を統合し
て話題の切れ目を決定します。
話題 7
分割精度（％）
箇所だけを選んで視聴する，“つまみ見”のニーズが高
キューフレーズ
抽出
EPG
00:12:01
各話題に対するキーワード
や代表文を，クローズド
キャプションから抽出
テキスト抽出
（見出し生成）
“最初の料理”
話題 6
録画機器の大容量化や多チャンネル化が進むことに
より，録（と）りためたテレビ（TV）番組の中から見たい
キュー
フレーズ
で分割
クローズドキャプション
出し情報を自動生成します。
いっそうの精度向上に向けて，メディ
ンツに対して実施した，話題分割精度
これまで多くの研究が行われていま
ア処理との融合を進めていきます。内
し，二つの方法を用いて話題の切れ目
の評価結果を図 4 に示します。自動で
す。画像や音声のメディア処理に基づ
容や形式が多岐にわたる TV 番組に対
を検出します。
話題分割した結果と，人による分割結
くアプローチが主流ですが，多くの場
応するためには，テキスト処理や画像・
一つは，“ところで”や“では次”のよ
果との一致度で評価しています。1 番
合，ニュース番組や特定のスポーツ番
音声処理を組み合わせて，適切に処理
うな明示的に話題の切替わりの手がか
組に対してふたりの人間が行った分割
組など限られた番組に特化したもので
することが重要だと考えています。
りとなる語を利用した，キューフレー
結果を用い，次式で人どうしの分割の
した。
一致度に対する相対値を計算します。
このシステムにより話題分割とテキ
ごとに分割し，各話題の内容を簡潔に
スト抽出を行った結果の画面例を図 2
ズに着目する方法です。もう一つは，
示すテキストを抽出する技術を開発し
に示します。この例では，旅館での夕
使われる語彙の推移に着目する方法で
ています。分割した結果を，各話題の
食や観光スポットの散策など旅行番組
す。例えば，旅行番組で観光地 A から
内容を示すテキストとともにユーザー
が話題ごとに分割されています。画面
観光地 B に話題が変わったときに，語
（注 1）
には，各話題に対応するサムネイル
い話題だけ選んで視聴できる“つまみ
と見出しのテキストが表示され，ユー
番組の対象ジャンルを拡大しつつ，
して，TV 番組の構造化については，
ションを利用して，一つの番組を話題
に提示することで，番組の中から見た
ニュース番組の話題分割をはじめと
今後の展望
（注 1） 多数の画像を一覧表示するために縮小
された画像。
東芝レビュー Vol.63 No.1（2008）
分割精度=（自動分割と人による分割
の一致度）（
/ 人どうしの分割の一致度）
現在開発中の話題分割技術では，ク
現在，早期の製品化を目指して研
究・開発を進めています。
ローズドキャプションに言語処理技術
を適用することにより，旅行や，料
理，グルメ，健康など多様なジャンル
分割精度は，6 ジャンルの平均で約
の情報系番組に対し，ジャンルごとに
80 ％という結果でした。放送されて
言語知識を切り替えて話題分割ができ
クローズドキャプションを利用したテレビ番組の話題分割技術
小山 誠
研究開発センター
知識メディアラボラトリー
73