Comments
Description
Transcript
プラネタリウム映画への字幕後付け技術の開発
プラネタリウム映画への字幕後付け技術の開発 秡 川 友宏（静 岡大 学）、 小 栗 妙子（浜松 科学 館）、 左 口 歩（浜 松科 学 館）、 星合 厚（静岡 大学）、竹林 洋 一（静 岡大 学 ） プラネタリウムのドームは広 いため、字 幕 は話 題 の中 心 にあわせて動 かしながら投 影 するのが一 般 的 である。事 実 上 困 難 なドームマスターへの書 き込 みと再 スライスに かわって、既 設の X-Y 投 影 機 をプログラム駆 動 し、自 由な位 置 に字 幕 を重 畳 する手 法 を実 践 したので報 告 する。 1. 実践対 象 プラネタリウム映 画 （フルドーム映 像 ）の聴 覚 情 報 保 障 について報 告 する。浜 松 科 学 館 は2006年 3月 にコニカミノルタプラネタリウム社 のGeministar-IIIによるデジタルプラ ネタリウムシステムを導 入 した。そのノウハウをさっそく活 かして、はままつユニバーサ ルデザインフェア実 行 委 員 会 では、翌 2007年 から字 幕 つきフルドーム映 像 の特 別 投 影 を企 画 し、浜 松 科 学 館 の技 術 協 力 のもとで実 践 してきている。 もともと Geministar-III は SKYMAX により天 球 の任 意の位 置 に文 字 を描 画 可 能 であ るが、フルドーム映 像 送 出 時 は映 像 送 出 系 が占 有 されてしまい字 幕 の後 付 けに用 い ることはできない。そこで、ドーム内 に残 っていた X-Y 投 影 機 をプログラム駆 動 し、狙 っ た位 置 に字 幕 を重 畳 する方 式 が開 発 された。複 雑 な制 御 が必 要 になるが、ほかに打 つ手 はない…。この方 法 に重 畳 を託 そう。 2. 実践可 能な場 所、必 要な道 具や準備 こんなこともあろうかと！と、プログラム制 御 可 能 な補 助 投 影 機 （X-Y 投 影 機 ）をリニ ューアルで見 捨てなかったデジタルプラネタリウム館。 3. 実 践 例 プラネタリウム映 画 の字 幕 後 付 けが、プラネタリウムや映 画 の字 幕 後 付 けと異 なる 点 は以 下のようにまとめられる。 表 1. プラネタリウム映 画 への字 幕 後 付け 字 幕の比 (a)本 編の (b)本 編の 較 明 るさ 動き プラネタリウ ム 暗い ゆっくり プラネタリウ ム映 画 通 常 の 映 (c)話 者 解説員 1 名 (d) 発 話 時 (e) 即 興 発 (f) 字 幕 位 刻 言 置 変動 あり 本編内 登場人物 明 るい 速い の数 固定 なし 本編外 画 プラネタリウム映 画 に不 利 ← ｜ → ユニバーサルデザイン天文教育研究会 http://tenkyo.net/wg/ud2010/index.html 2010 年 6 月 6〜7 日 有利 於 国立天文台三鷹 ← ｜ → 不利 字 幕 は懐 中 電 灯 と同 じ原 理 で (f) 本 編 内 に重 畳 する ため、もともと明 るいところに は描 くことができない。このため、字 幕 は、 (a) 本 編 が明 るい部 分 を回 避 しながら (b) 動 き回 るオブジェクトの近 傍 に (c) 複 数 の話 者 を区 別 して投 影 しなくてはならず、こ れが最 大 の問 題 となる。 反 面 、(d) 発 話 時 刻 が固 定 であることや (e) 即 興 発 言 がないため、字 幕 はあらか じめ本 編 と等 長 のDVDやムービーとして用 意 しておくことができる。 X-Y投 影 機 の動 き もあらかじめプログラム可 能 であるため、現 場 でのリアルタイム処 理 を要 求 されない点 はプラネタリウムにおける星 空 解 説 の字 幕 よりやさしい。 しかしながら、通 常 、字 幕 の行 数 は500 ～ 600行 もあるため、(ハコ割 りにもよるが) 200テロップ以 上 の大 作 業 になる。プラネタリウム映 画 は早 送 り、巻 き戻 しが自 在 にで きないため、本 編 映 像 を繰 り返 し再 生 しながらひとつひとつプログラムしていったので は、ドームの営 業 スケジュールに影 響 してしまう。 そのため、シミュレーションツールの開 発 によりドーム外 で字 幕 を仕 上 げておき、ド ー ム 内 で そ の 仕 上 が り を 確 認 す る 方 法 を 採 用 し た 。 と く に 、 2010 年 度 実 施 の 「HAYABUSA –BACK TO THE EARTH–」では、巧 妙なカメラワークによる本 編 の浮 遊 感 を殺 さないよう、字 幕 の表 現 力 をどうしても向 上 させたかった。ツール自 体 を拡 張 す る時 間 の余 裕 はなかったため、新 規 にスクリプト言 語 によるプログラムを開 発 してこま かな字 幕 表 現 に対 応 し、はやぶさの帰 還 に間 に合 わせた。従 来 の作 品 同 様 、字 幕 制 作 期 間 2 カ月、ドームでのランスルー5 回 に抑えて完 成 させることができている。 3.1. 本編内に字 幕を描くということ プラネタリウム映 画 の場 合 、劇 場 映 画 のように字 幕 をドーム下 端 に固 定 すると、視 線 移 動 が大 きすぎてせっかくの美 しい映 像 を楽 しめなくなってしまう。このため、プラネ タリウムの星 空 解 説 と同 様 、字 幕 は話 題 の中 心 を追 いかけながら本 編 内 に投 影 して いくことになる。 しかしそれは、障 碍 のある方 のためにと 言 って、整 然 とならした美 しい庭 園 の中 に黄 色 い点 字 ブロックを敷 くようなものだと考 えている。字 幕 の場 合 は、スポット上 映 終 了 後 、点 字 ブロックとちがってすぐ取 り外 せるため、版 権 者 もそのあたりギリギリ理 解 を 示 してくださっているのかなぁ…といった感 触 を受 けている。そのため、本 編 内 へ重 畳 する字 幕 素 材 は、以 下 を考 慮 しながら慎 重 に制 作 している。 本 編 オブジェクトとの相 対 関 係 オブジェクトの動 きやカメラワークにあわせて動 かしながら配 置 する （2007年 度 「銀 河 鉄 道 の夜 」、2008年 度 「宇 宙 エレベータ」、2009年 度 「Birth of GAIA」、2010年 度 「HAYABUSA」）。 複 数 のホワイトを用 意 して、可 読 性 が担 保 でき、かつ本 編 よりも 主 張 が 強 く な ら な い 明 る さ の も の を 場 面 に あ わ せ て 使 い 分 け る （ 2010 年 「HAYABUSA」）。 話 者 名 の割 愛 話 者 名 は聴 覚 障 碍 者 にとって重 要 な手 がかりであるが、劇 場 映 画 よろしく画 面 下 に出 すのとは異 な り、 本 編 内 に出 すと、とくに健 聴 者 にとって は目 障 りに感 じら れることがある。また、聴覚障碍者にとっては、追従するために読速度を上げる 必要に迫られる。そのために以下の工夫をしている。 隣の話者よりも近い位置に配置し、誰のセリフであるのか明確にする（2008 年度 「宇宙エレベータ」）。 複数の話者を区別しやすくするために、それぞれ書体で区別し、ごく淡い色で着 色する（2007 年度「銀河鉄道の夜」，2008 年度「宇宙エレベータ」）。 オノマトペの表現 バーン，ドーンといった情景音の文字化は聴覚障碍者にとって重要な手がかりで あるが、本編内に出すと（「うわー!!（エコー）」「ジュー（轟音）」など、付随す る「（程度表現）」はとくに）、やはり目障りに感じられることがある。 情景音には手書き風の書体をあて（不思議なことに、これで大幅に緩和できる）、 程度表現は Adobe After Effects で特殊な効果を与える（粉々に散らせたり文字 を震わせたり）ことで代替する（2007 年度「銀河鉄道の夜」，2008 年度「宇宙 エレベータ」，2009 年度「Birth of GAIA」，2010 年度「HAYABUSA」）。 本編オブジェクトとの相対関係については、たとえば、「HAYABUSA」においては、 ハイゲインアンテナやソーラーパネルと噛み合って美しく見えるように考慮して段落 を折り（図 1）、用意した 8 色のホワイトパレットのうち 6 色を使用して、本編の浮 遊感を殺さないように動かしながら字幕を描いていった。 図 1. 段落のレイアウトと動き (版権:「はやぶさ」大型映像制作委員会) 3.2. 字幕制作の手順 字幕制作のおおまかな流れは、(1) ドームパラメータの測定、(2) シミュレーション ツールによる字幕制作、(3) ドームでの試写調整 の 3 段階である。 3.2.1 ドームパラメータの測定 シミュレーションツールは、モデルベースではなく、イメージベースのものとして 設 計 した。モデルベースのシミュレーションでは、ドームとX-Y投 影 機 の位 置 関 係 、X-Y 投 影 機 への移 動 指 示 座 標 と雲 台 の回 転 角 、X-Y投 影 機 の投 影 画 角などを知 りツー ルに入 力 する必 要 がある。しかし、建 築 図 面 や機 器 の性 能 表 を調 べたり、あるいは測 定 したりして、これらをひとつひとつ入 力 することは面 倒である。 そこで、これにかわり、魚 眼 レンズを装 着 したカメラで方 眼 と本 編 を 1 度 撮 影 すれば 測 定 作 業 が終 了 する方 法 を採 用 している。筆 者 らはこれを、イメージベースシミュレー ションと呼 んでおり、モデルベースシミュレーション同 様 に、測 定 作 業 終 了 後 、字 幕 の オーサリングはすべてドーム外で行 うことができる。 図 2 は測 定 作 業 の様 子である。L 側 の X-Y 投 影 機 をホームポジションに動かして 方 眼 を投 影 し、レーザポインタを自 在 クリップに装 着 したレーザーマーカ（図 2a）で左 上 をポイントする（図 2b）。次 に、方 眼 の左 下 がマーカに当 たるように X-Y 投 影 機 に移 動 指 示 を出 し、その指 示 座 標 を記 録 する。これを繰 り返 すことで、全 天 を覆 う大きな方 眼 が得られる（図 2c）。浜 松 科 学 館 には 2 台 の X-Y 投 影 機 があるため、固 定 したビデ オカメラを用 い、R 側 の投 影 機 をあわせて計 18 枚 の方 眼 を、指 示 座 標 を記 録 しながら 撮 影 する（いちど指 示 座 標 をすべて記 録 してしまえば、別な作 品 の字 幕 を制 作 する際 にもこの座 標 で移 動 指 示 するだけで方 眼 の張 り合 わせは可 能 であるから、次 回 から レーザマーカは不 要 である）。カメラを固 定 したままで本 編 を全 編 通 して収 録 すれば、 測 定 作 業 は完 了 する。 a. レーザーマーカ b. ホームポジション（L） c. 方 眼パッチ（L, R） 図 2 測定作業 3.2.2 シミュレーションツールによる字幕制作 カメラワークの複 雑 な作 品や、とくに複 数 話 者 の作 品などでは、X-Y 投 影 機 が会 話 のターンテイキングに追 従 するような速 度 では移 動 しないことが問 題 になる。このため、 X-Y 投 影 機 自 体 の絶 対 移 動 と、投 影 している黒 画 面 内 の相 対 移 動 を組 み合 わせて 字 幕 の移 動 計 画 を立てて行 く。さらに、浜 松 科 学 館では 2 台の X-Y 投 影 機 と 2 台 の DVD を用 いて、片 側 が字 幕 を投 影 しているあいだにもう片 側 を次 の持ち場 に動 かすこ とで絶 対 移 動 のレイテンシを隠 蔽 し、表 現 力 を高 めている（同 時 に別 な字 幕 を出 すこ とがなく、ビデオスイッチャが切 換ノイズの気 にならないものであれば、 2 台 の X-Y 投 影 機 と 1 台の映 像 ソースでもこれをまかなうことは可 能である）。当 然ながら、ツールはこ ういった事 情 をサポートしなければならない。 図 3 イメージベースのシミュレーションツール 字 幕 オーサリングに必 要な入 力 は以 下の 4 つ（ツールの入 力 としては最 初 の 3 つ） である。 PASS スクリプト プラネタリウム用 の拡 張 を施 した ASS（Advanced SubStation Alpha[1]）スクリプト。 複 数 台 の X-Y 投 影 機 の移 動 指 示 やその出 力 切 換などのメタコマンドを埋 め込 むこ とが可 能 。BBA（視 覚 障 碍 者 読 書 協 会 ）フォーマットによるふりがなの記 述 能 力 や、 学 年 指 定 による既 習 漢 字 のふりがな削 除 機 能 も持 たせた。 方 眼 パッチ 魚 眼 レンズを装 着 したビデオカメラで撮 影 したすべての方 眼 （浜 松 科 学 館 の場 合 は 9 箇 所 × 2 台 = 18 個 ）の 4 隅の点 について、それぞれそのビデオフレーム上の 座 標 を読 み取 り、アフィン変 換 器 へ基 準 座 標 として入 力 する。この作 業 によってア フィン変 換 器 が任 意 の中 間 座 標 を計 算 できるようになり、X-Y 投 影 機 を（この 9 箇 所 以 外 の）任 意 の方 向 に向 けたときの字 幕 の重 なり具 合 のシミュレーションが可 能 になる。 本編映像 ビデオカメラを固 定 したまま、魚 眼 撮 影 した本 編 映 像 。シミュレーションツールでは この上 に字 幕が描 かれ、その重なり具 合 がドームでほぼそのまま再 現 される。 黒映像 黒 画 面 に音 だけが入 った、本 編 と等 長 のビデオ素 材 。ツールが出 力 する字 幕 デー タをこれとブレンドすることで、黒 画 面 に字 だけが入 った字 幕 DVD（もしくは字 幕 ム ービー）ができる。 ツールはX-Y投 影 機 を制 御 するためのSPICEプログラムを同 時 に出 力 する。書 き込 んだDVD-Rをプラネタリウム本 体 に接 続 されたプレーヤにセットし、出 力 されたSPICE プログラムの移 動 情 報で駆 動 すれば字 幕 投 影 が可 能 になる。 シミュレーションツールによる字 幕 制 作 工 程 は（他 の業 務 をこなしながらも）およそ 1 カ月 程 度で終 了 している。 3.2.3 ドームでの試写調整 ドームにおける試 写 調 整 は、同 じく魚 眼 レンズを装 着 したカメラをドームに持 ち込 ん で収 録 を行 い、持 ち帰 って解 析 することで行 う。プラネタリウム映 画 は巻 き戻 しや早 送 りが自 在 にできないため、ランスルーで 1 回 投 影 すると、その週 の持ち時 間 を使 い切 っ てしまうためである。ドームにおける試 写 調 整 は次の 3 つの意 味で重 要である。 各 種 タイミングの確 定 初 回 試 写 時 は、本 編 映 像 の時 刻 、字 幕 映 像 の時 刻、 X-Y投 影 機 の雲 台 の移 動 時 刻 のオフセットがすべてバラバラである（最 大で0.8秒 程 度のズレを経 験 している）。 そのため、投 影 素 材 には、タイミングマーカ（図 1緑 字 「Projector moving to Position L02」）やエリアマーカ（図 1赤 枠 、青 枠）が含まれている。初 回 試 写 の収 録 素 材 をフレーム解 析 してそれらの相 対 オフセットを把 握 し、SPICEプログラムに反 映 させる。2回 目 の試 写 をフレーム解 析 してすべての時 刻が正 しく同 期 していることを 確 認 し、3回 目 以 降 はこれらのマーカを消 して試 写 を行う。なお、各 投 影 機 の投 影 エリアは充 分 に広 いものであるが、エリアマーカが示すように、ドームスクリーン上 ではほんのわずかずつの領 域でしかない。ドームスクリーンは、私 たちの感 覚 をは るかに超えた、大きな広 がりを持 っている。 現 場 での視 聴 シミュレーション画 面 は魚 眼 映 像 のため、眼 下 から背 後までの領 域 が一 瞥できてし まう。首がつりそうな位 置 に字 幕 が描 かれていないか、次のセリフの字 幕が離 れす ぎて視 線 が追 従 しないような箇 所 がないかなどを、実 際 にドームで確 認 する。浜 松 科 学 館 の場 合、車 椅 子 席 がドーム中 央よりかなり前 方 にあるため、前 方 に着 席 し たときの眺 めも確 認 する。 微調整 細 い領 域 の隙 間 にギリギリ字 を通 すときなど、シミュレーションツール上 では干 渉 が なくても、実 際 に重 畳 すると干 渉 してしまったり、干 渉 しないまでも左 右 のアキのバ ランスが悪 くなることがある。これらはドームに実 際 に重 畳 して微 調 整 を行う。 3.3. 音声ガイド プラネタリウム映 画 の字 幕つき投 影 を浜 松ではじめたのは「美 しい映 像 が全 天 に広が るのだから、聴 覚 に障 碍 のある方 には新 しい楽 しみになるのではないか」という のがき っかけであった。そのため、視 覚 に障 碍 のある方 のための音 声 ガイド（音 声 による場 面 解 説 ）つき投 影まで実 施 しようということは思 いもよらなかった。 「HAYABUSA」も、CGがきれいで感 動 する作 品である、というのが事 前 に耳 に入 っ ていたことだったが、字 幕 のための下 見 をして考 えが変わり、音 声 ガイドをあわせて制 作 することにした。単にきれいで目 を引 く作 品 ということでなく、たいへん心 を引 く作 品 で、それがプラネタリウム映 画 にも音 声 ガイドを制 作 してみようと考 えるきっかけになっ たのだと分 析 している。 浜 松 科 学 館 のプラネタリウムにはアシストホーンなどの音 声 ガイドシステムが常 設 さ れていないため、音 声 ガイドつき投 影 は FM トランスミッタを仮 設 して行 った。ガイドは 字 幕 DVD の音 声 トラックに収 録 し、DVD プレーヤのヘッドフォンジャックからトランスミ ッタに導 いている。字 幕 DVD 自 体 が SPICE プログラムにより本 編 と同 期 しているため、 音 声 ガイドも追 加 の工 数なく本 編 に同 期 して自 動 で送 出 されている。 4. 実践上 役立つヒントや留 意点 字 幕 について ND フィルタを活 用 する 字 幕 用 プロジェクタの薄 黒 の背 景 （灰 景 ?）が目 立 つという声 を聞 く。浜 松 科 学 館 は 幸 いにもはじめから 3 管 式プロジェクタなのであるが、液 晶プロジェクタや DLP プロ ジェクタでも ND フィルタを使えば灰 景 を黒 にすることができる。プロジェクタのレンズ 筒 の内 側 にはたいていネジが切ってあるから、これに見 合 う ND4 フィルタをカメラ店 で選 んでもらい取 り付 けるとよい。 音 声 ガイドについて 平 易 な用 語 を使 う 音 声 ガイドは本 編 音 声 の空 きを埋 めるように詰 まって行 く。平 易 でない単 語 を用 い ると、意 味 が連 想 できるまでに本 編 がどんどん先 に進 んでしまう。 「はやぶさの本 体 は、大 きな段 ボール箱 を倒 したような長 方 形 」（「直 方 体 」ってなんだっけ? と考え ているあいだに本 編 が進 んでしまう） 「ガスジェットを使 う」（「化 学 スラスタ」もむつ かしい） 単 語 は慎 重 に選 ぶ 「東 京 を通 過 して、10 秒 、11…」（「出 発 して」では発 射 地 点 と紛 らわしい） 「大 空 、 一 面 の星々」（「星 空 」では宇 宙 空 間 からの眺めと紛らわしい） 経 験 のあるものを引 き合 いに加 える （「最 大 級 のタンカーよりも尐 し長 いといったところだ」）「 新 幹 線で 21 両 くらい」 音 声 ガイドは「見 えたままをガイドし、見 えていないものはガイドしない」のが原 則 で ある。しかし、科 学 映 画 の音 声 ガイドはいくつか工 夫 が必 要 だった。 たとえば「HAYABUSA」では、イトカワの特 徴 的 地 形 として「 M-V」（ミューファイブ）とい う字 幕 が現 れ、これは音 声 ガイドでも読 み上 げられる。ただし視 覚 なしでは形 状 の類 似 がわからないため、「M-V」がなんであるのか理 解 することはむつかしい。このため、 ロケットの初 出 時、胴 体 に M-V と書 いてあるわけではないが、「それは、M-V ロケット」 というように読み上 げている。 また、地 球 スイングバイのシーンでは、はやぶさがデフォルメして書 かれているため、 「枠 の大 きさは、はやぶさの○○倍 」と見 たまま正 直 に解 説 してしまうと事 実 にそぐわ なくなってしまう。具 体 的 な大 きさを出 さずにスイングバイの精 度 の厳 しさを 伝 える解 説 を、上 坂 浩 光 監 督 と相 談 して決 定 した。音 声 ガイド原 稿 には単 語 の選 択 の理 由 や ガイドのタイミングなどがこと細かに記 載 され、それに添 削 が行 われている。 5. 実践例の評 価 初 回 制 作 の「銀 河 鉄 道 の夜」で、7 回 の試 写 を行 っても完 全 に納 得 いくまでは字 幕 が仕 上 がらなかった経 験 から、ドームでの試 写 回 数 と字 幕 制 作 期 間 を尐 なくするため に字 幕 シミュレーションツールを開 発 した。ツール開 発 後 は、当 時 よりもはるかに複 雑 な字 幕 スクリプトを 4 回 前 後 の試 写 で完 成 させることができており、試 写 回 数 の短 縮 効 果 は確 実 にあがっている。 一 方、制 作 期 間 については、残 期 間 があると納 得 するまで字 幕 をいじくり回 してしま うからか、期 待 した短 縮 効 果 は得られておらず、すべての作 品 について 2 か月 のまま である。ただし、本 編 の動きにあわせた字 幕 の相 対 移 動 は、「銀 河 鉄 道 の夜」の 6 テロ ップから、ツール導 入 後 の「宇 宙 エレベータ」では 20 テロップと増え、「HAYABUSA」で は 74 テロップにまで増えているため、減 らなかった制 作 期 間 は字 幕 の品 質 向 上 に存 分 に活 用 されているのだろうと分 析 している。 6. 一般市 民への天文 学教 育普 及活 動へのフィードバック プラネタリウムで高 齢 者 を見 かけること自 体 ほとんどないため、高 齢 者 から「助 かっ た」という声 はまだ聞 いたことがない（ただ、話 者 の区 別 や同 音 異 義 語 などを含 め、字 幕 があってわかりやすかったという声 を一 般 来 場 者 からまれに聞 くことはある）。 共 視 聴 可 能 なコンテンツという意 味 では「字 幕 はそれほど邪 魔 ではなかった」という 声 をいただくことがいちばんありがたい。携 帯 端 末 やヘッドマウントディスプレイ（HMD） などは、字 幕 の選 択 的 視 聴 の有 効 な手 段 でありそれらも試 してはいるが、まだ視 線 や 焦 点 の移 動 がわずらわしいように感 じている（外 した瞬 間 に転 倒 しないよう、 HMD の焦 点 は眼 前 2m 程 度 のところに合うように調 整 されている）。 HMD の焦 点は光 学 的 には どこにでも設 定できるそうであるから、それを 10 ～ 15m とし、さらにジャイロで頭 部 の 回 転 を検 出 できれば、ドームスクリーンへの重 畳 と同 程 度 の快 適 さで話 者 位 置 適 応 を含 む字 幕の選 択 的 視 聴 が提 供 できるのではないかと期 待 している。 7. 謝 辞 本 報 告 書 へのコンテンツの一 部 引 用 と、各 種 ガイド類 の監 修 にご理 解 をいただい た「HAYABUSA –BACK TO THE EARTH–」の上 坂 浩 光 監 督 に御 礼 申 し上 げます。 8. 参考文 献 [1] ASS Tags – Aegisub Manual http://aegisub.cellosoft.com/docs/ASS_Tags