Comments
Description
Transcript
テキスト台本からの自動番組制作∼TVMLの提案
テキスト台本からの自動番組制作∼ＴＶＭＬの提案 Machine Production of TV Program from Script - A proposal of TVML 林 正樹 Masaki HAYASHI ＮＨＫ放送技術研究所 NHK Science and Technical Research Laboratories Abstract - This paper describes a method to generate TV programs automatically from text-based scripts. A script description language proposed in this paper is named TVML (TV program Making Language). In a script written by the TVML, contents of programs are represented by text-based commands such as "Title#1" or "ZoomIn". On the other hand, a TVML viewer interprets the script written in TVML then generates TV program automatically. We propose a specification of a test version of the TVML and also explain the TVML viewer implemented in a work station. We also discuss its future applications and possibilities such as circulation of TV program scripts on a network, multimedia conversion based on the TVML and so on. １．はじめに マルチメディアの時代にあって、その内容をいかに作って 行くかというコンテンツ制作の重要性がますます高まってい る。ＴＶ放送の分野においても、従来よりの放送文化に支え られた良質な番組を放送して行く一方で、マルチメディアを 積極的に取り入れて、従来の放送形態に必ずしも縛られない サービスを展開して行く必要があるだろう。こういった状況 の中で今回注目するポイントを以下にあげる。 ◆今まで人間がやっていたところで機械が代行できるところ を代行して行く ◆できあがった放送番組の二次利用を図り、コンテンツを自 動拡大する ◆コンテンツ制作の人材を一般の人間に拡大し、ボトムアッ プをはかって行く これらの課題は従来からの番組制作に必ずしもスムーズに馴 染まない。番組制作とは高度に専門家された集団による仕事 であり、おいそれと自動化できるようなものではないし、ま た自動的に作った低品質のコンテンツや素人の作品が果たし て放送で使えるレベルにあるかという問題がある。 我々は、この立場を正しい（前述の「良質な番組」に相 当）としながらも、あえて、実験的に自動番組制作という テーマを、従来の番組制作の場とは独立したところに設定し て実験を行ってみた。これは、放送の新しい展開（前述の 「新サービス」に相当）における応用を念頭においている が、ここで得られる知見が、従来放送における番組制作の場 においても効率的な改善をもたらすであろうと考えている。 本稿では、放送番組を記述するＴＶＭＬ(TV program Making Language)という言語を提案する。またこのＴＶＭ Ｌを読み込み、これを解釈して自動的に番組映像音声を生成 する機械をＴＶＭＬビューワーと呼び、これを試作した。そ して、この言語とビューワーというコンビがどんな風に役に 立つのか検討してみた。 ２．ＷＷＷホームページはなぜ流行したのか ＴＶＭＬという単語は、ＷＷＷにおけるハイパーテキスト 記述言語であるＨＴＭＬ(Hyper Text Markup Language)か ら来ている。まず、ここではＨＴＭＬの特長に注目する。 インターネットのＷＷＷの爆発的な流行の理由のひとつ に、素人でも簡単に自分のプライベートなページをネットに 登録できるというところにある。ＷＷＷページはＨＴＭＬと いうテキストレイアウト用の言語によって書かれている。Ｈ ＴＭＬは非常にシンプルであり、若干の規則を知っていれ ば、普段使用しているワープロで書くことができる。現在 は、このホームページ作成専用ツールが売り出されるように なり、ユーザーはＨＴＭＬの言語知識がなくても作成ができ るようになった。こうしてＨＴＭＬはユーザーにとって再び ブラックボックスに戻りつつあるが、ここでは、ＨＴＭＬと いう言語のいくつかの特長に注目したい。 ◆テキストとしたことで、ユーザーが既に持っているテキス トエディター（ワープロ）で作成ができた ◆言語がある程度インテリジェントにできあがっていた。文 章さえできあがっていれば、レイアウトについては機械が適 当にやってくれる。言語を熟知していれば、自分のデザイン 意図によってかなり品質の高いアウトプットを実現できる。 ◆言語の特長を用いて、独自のレイアウトスタイルが生まれ た。言語を使いこなすことによって、デザイン上で様々な工 夫の余地があった。 ＴＶＭＬの設定にあたって以上の特長を考慮した。次に、 ＴＶＭＬの抽象度のレベルをどこに設定するべきかという問 題を検討する必要がある。 ３．テレビ番組制作におけるデータ ここでは、どのレベルで放送番組を記述しようとしている かについて述べる。 放送番組が作られるプロセスを図１に概観する。番組の企 画に基づき台本が作られ、主に視覚的な効果を記述した絵コ ンテが作られる。この両者に基づき素材が収録される。素材 にはスタジオ収録、ロケ、資料映像などがある。収録された 素材を編集へ送り、編集シートに基づき素材編集をし、音を 入れて番組ができあがる。 以上のプロセスにおいて、プロセスからプロセスへ引き渡 されるデータは多種多様に渡るが、おおまかに考えて図１に おいて上へ行くほど抽象度が高く、下に行くほど物理的なも のと言えるだろう。現在、番組制作においてはっきりした データ構造が決定されているのは編集データの部分である。 特に近年ノンリニア編集が盛んになってから、ＡＶＩＤ社が 中心になって細部のパラメータをすべて記述したＯＭＦ (Open Media Framework)という規格がある。今の所、図 １の素材収録、収集、アートワークの部分は、ほとんどの場 合人間から人間へデータを受け渡し、それを人間が解釈して 行なっていると言えるだろう（例えばそれは紙切れであった り、スケジュール管理パソコンであったりする）。ＴＶＭＬ の記述はこの部分に設定する。 番組制作プロセス データ 抽象度高い 番組企画 台本、絵コンテ作成 台本、絵コンテ ４．ＴＶＭＬとＴＶＭＬビューワー ここでは、具体的に今回設定したＴＶＭＬの例を示し、ま たこのＴＶＭＬを読み込み、これを解釈して自動的に番組映 像音声を生成するＴＶＭＬビューワーの試作について述べ る。 ２章で分析したＨＴＭＬにおける特長を生かした形で、次 の方針で言語仕様を決めた。 ◆テキストデータとし、可読性のあるものにする。 ◆番組をカットの時間的な連続としてとらえ、台本に近い形 式にする ◆ある程度抽象性の高いものとし、単純な記述だけで、機械 が適当に判断して行えるようにする。 一方、ＴＶＭＬビューワーとしては、グラフィックワーク ステーション一台でクローズなものとして設計した。ここで は番組の構成要素を次のようなものに分けている。 1)スタジオショット…ＣＧスタジオ内の音声合成でしゃべる ＣＧキャスターを自動カメラワークで撮影する。リアルタイ ムＣＧで生成し、ＣＧと音のシンクロナイズを行う。 2)自然動画…参照動画ファイルとして扱う 3)タイトル…ＨＴＭＬ風の言語で記述し、自動生成する 4)テロップ…ＨＴＭＬ風の言語で記述し、自動生成する 5)スーパー…ＨＴＭＬ風の言語で記述し、自動生成する 6)効果音…ＢＧＭも含める。参照音声ファイルとして扱う 図２に、今回決めたＴＶＭＬを使って番組を記述した例を示 す。いくつか特徴をあげる ◆ある実体（例えば、camera）に対して、仕事の内容を指 令する（例えば、two_shot）という形で記述する ◆時間の推移については、絶対時間、カット頭からの相対時 間、あるイベント（例えばキャラクタが歩き、座る）の終了 待ちの三種類を自動的に機械が判断する。 図２のＴＶＭＬテキストをビューワーで再生したものを図３ に示す。 ５．ＴＶＭＬの応用例と可能性 素材収録、収集 スタジオ撮影、ロケ、資料映像 ＴＶＭＬ アートワーク スタジオセット設計制作、ＣＧ制作 素材編集、効果 音入れ 完成番組 編集情報(OMF) 物理的 図１． 番組制作プロセスとやり取りされるデータ ここでは、このＴＶＭＬとビューワーの組で何ができるよ うになるかいくつか検討してみた。 ◆ワープロで作った台本が番組になる ＴＶ番組を作るために必要な作業は膨大なもので、細部に 渡って決定すべきパラメータが無数に存在する。そこで、 ユーザーはかなり抽象度の高い言語で記述し、細かい所は全 て適当に機械がやってくれる（例えばタイトルカットを何秒 にするかとか）ようにすることで、素人でも番組が作れるよ うにする。また、テキスト台本として可読性を持つことによ り、ワープロ程度のもので誰でも作ったり修正したりでき る。 // HTML TEXT OF "SOME KIND OF TALK SHOW" // SETUP EVERYTHING character: job=setup, number=2, name=BOB;MARY character: job=reset, who=BOB, position=-0.2;0.0;0.2;180 character: job=reset, who=MARY, position=0.2;0.0;0.2;180 character: who=BOB, job=sitting character: who=MARY, job=sitting camera: job=reset // STUDIO SHOT WITH MUSIC & SUPERIMPOSE super: job=on, string="Beavis&Butthead" sound: job=play, filename=openning.aifc camera: job=two_shot, type=continuous character: who=BOB, job=bow character: who=MARY, job=bow super: job=on, string="BOB & MARY" // START TALKING camera: job=up, who=BOB talk: BOB = "Hello mary." camera: job=up, who=MARY, type=cut talk: MARY = "Hi bob." camera: job=two_shot talk: BOB = "Today we will talk about some cartoons." talk: MARY = "Beavis&Butthead is the best! Check this out." sound: job=stop // PLAY MOVIE movie: job=play, filename=beavis.mov, starttime=0, endtime=3s // STUDIO SHOT AGAIN character: job=talk talk: BOB = "How was it?" talk: MARY= "Bye, bye." // SHOW END TITLE WITH MUSIC title: job=on, filename=endtitle.html, time=3s sound: job=play, filename=ending.aifc // THE END end: 図２． ＴＶＭＬで記述した番組例 ◆自然言語で記述した台本への発展性 ＨＴＭＬのときと同じく、最終的にはＧＵＩによって番組を 作り、それをＴＶＭＬに自動的に落とすという形が想像でき る。現実の番組制作では台本やメモといった文章が大量に使 用されており、番組制作ツールの中にも視覚的なものに加 え、言葉の使用が不可欠であると思われる。そんな中で、こ のＴＶＭＬは言葉との親和性が良く、中間言語として適当な ものになりうると思われる。 ◆台本のコピー修正でコンテンツを自動拡大する ＴＶＭＬはかなり抽象度の高い言語で記述されているので、 この言語に対して修正を行うことは比較的容易である。例え ば、しゃべりやスーパーを日本語から英語にしたり、カット を抜いてダイジェスト版を作ることなど、既に作った台本の コピー修正によっていくつものバリエーションが作成でき る。 ◆プロの番組をＴＶＭＬで記述し２次利用する プロの作ったＴＶ番組を自動、半自動でＴＶＭＬ言語に落と し、これをＴＶ番組と一緒に視聴者に伝送する。視聴者側で はこのＴＶＭＬをモディファイすることで、ダイジェスト版 や、見たいものだけ見るフィルタリングなどを行う。ＴＶＭ Ｌは抽象度が高いので、比較的簡単にこれらのことが行える （自動、手動とも）。例えば、オフライン編集情報を直接モ ディファイすることは不可能に近い。 ◆ネットワークで台本を送り、視聴者側で生成する 抽象度の高い言語を仲介にすることで、この言語にもとづき ＴＶ番組を生成するビューワーは、例えばファミコンレベル から放送品質までレベルに応じていくつも考えられる。もし 一般視聴者が簡単なビューワーを持っていれば、放送波、 ネットワークからＴＶＭＬ台本をダウンロードするだけで番 組として視聴できる。当然、抽象度の高い言語のため、伝送 するデータ量は激減している。 ◆情報番組など単純な番組を自動生成する インターネットなどを通じてＴＶＭＬ台本を流通させる仕組 みを作れば、素人を含めた潜在的に膨大な人間が番組プロ デューサーになりうる。例えば、インターネット上にある ニュースグループで行われている情報交換を、自動的にＴＶ ＭＬ台本に変換する仕組みを作れば、自動的に情報番組をい くらでも生成できる。（クオリティは今のところあまり望め ないが） ◆ＴＶＭＬから放送番組以外のメディアへ変換する 抽象度が高いため、この言語に基づいて生成するものは何も ＴＶ番組だけに限定されない。ラジオにもできるし、ＣＤＲ ＯＭ風の作品にもできるし、吹き出し付きでプリントアウト して漫画風にもできる。これは、ひとつのコンテンツから番 組、本、ＣＤＲＯＭなどのマルチメディアアウトプットを自 動的に作ってしまうという発想である。すなわちメディア間 相互自動変換（マルチメディアムーバーと呼ぶ）の実現に寄 与できる。 ◆インタラクティブＴＶの記述に用いる ＴＶＭＬ台本は、時間軸に沿ったカットという単位で構成さ れ、またこのカットに対して何をさせるかという記述方法を 取っているため、あるカットの次にどのカットが来て何が起 こるかという決定を外部からコントロール（例えばプッシュ ホン）するインタラクティブＴＶの台本記述に有用である。 ◆将来の視聴者端末における番組生成機構 将来のＴＶセット（視聴者端末）にはコンピュータが内蔵さ れ、従来の放送番組に加えて様々なタイプのサービスが盛り 込まれようとしている。ＴＶＭＬビューワーはテキスト台本 と素材という形で番組を生成するので、それらを時間をかけ て伝送してやり、台本と素材が揃い次第、これをビューワー にかけて番組を視聴するという形態が考えられる。従来放送 メディアの空きを利用して番組を伝送できることになる。例 えば、将来のＴＶでは、視聴者に対する番組のコマーシャル をインタラクティブに視聴するということも考えられ、この インタラクティブコマーシャルを記述する言語としてＴＶＭ Ｌを使うことが考えられる。 あとがき 我々は既に数年前、デスクトッププログラムプロダクショ ン(1)のプロジェクトにおいてスクリプト駆動型番組制作を提 案してきた。これは、素材と台本を別々に管理し、台本に 従って素材をその場で編集加工して番組を出力するという考 え方である。ただし、この研究開発が統一された形で進んで きたとは言い難く、どちらかというと番組制作における個別 のアプリケーションを開発してきたという感じが強い。例え ば、動画検索システム(2)や、リアルタイムＣＧによる仮想ス タジオ(3)や、立体映像部品(4)などである。その理由はやはり番 組制作のプロセスが複雑過ぎて統一したプラットフォームに 乗せにくいということがある。ここで提案するＴＶＭＬと ビューワーは、これら個別に開発される機器のプラット フォームになりうるような形として発展させて行く予定であ る。 もっともＴＶＭＬの発想は、自動番組制作システムについ て検討を始めたときに出てきたものである。例えば、天気予 報、株式情報、インフォメーション番組などのある部分は、 非常に単純なシーケンスでできあがっており、機械でもある 程度自動的に生成できるのではないかという考えである。こ の発想の是非は置いておき、こういった自動番組制作システ ムを作るに当たってある言語がどうしても必要となるのであ る。もし、天気予報に特化したシステムなら、ＴＶＭＬなど 必要あるまい。天気情報をデータインプットして番組が出て くるブラックボックスができればいい。中で扱われている データにある切り口を与える必要もない。しかし、もっと汎 用的に使えるようなシステムを考えた場合は、いろいろな内 容に対応できるための切り口が必ず必要になる。それがこの ＴＶＭＬである。 我々もこのＴＶＭＬの考え方について現段階でいろいろな 疑問があり、以下にそれを記しておく。 ◆なぜテキストファイルでなければならないか。 ◆チープな番組の記述にしか使えない。ユーザーはすぐに飽 きてしまう。 ◆時間軸（編集）と空間軸（映像合成、音声）に内容をはめ こむことでできあがっている番組を記述するのに、テキスト は向いていない。 ◆ＴＶＭＬで実現する内容と同様の事を既存の言語で実現で きるのではないか。例えば、ＨＴＭＬ、ＶＲＭＬ、Ｊａｖａ などで記述できれば、わざわざＴＶＭＬを定義する必要もな いのではないか。 ◆ＴＶＭＬが他の言語のようにスタンダードになる可能性は あるのか。 これらの問いについてはこれからまだまだ議論して行かねば ならないだろう。 参考文献 (1) 井上ほか：「デスクトッププログラムプロダクションによ る映像制作」、情報処理学会後期全国大会, (1992) (2)柴田、金：「シーン記述に基づく映像の要約再生」、信学 技報、IE95-152, PRU95-239(1996-03) (3)林ほか：「モーションコントロールカメラを使った仮想ス タジオ」、ＴＶ学会全国大会、9-5, (1995) (4)三ッ峰ほか：「立体物美術品鑑賞システム」、信学技報、 IE95-78(1995-11) 図３．図２のＴＶＭＬデータをビューワーで再生した例 ＮＨＫ放送技術研究所 先端制作技術研究部 〒157 東京都世田谷区砧1-10-11 TEL: 03-5494-2310, Email: [email protected]