Comments
Description
Transcript
高度化する映像表現技術の 動向
高度化する映像表現技術の 動向 解 説 三ッ峰秀樹 ■ 近年，コンピュータービジョン（Computer Vision）やコンピューターグラフィックス （CG：Computer Graphics）技術の活用により，テレビ番組などの映像制作において， 映像表現の自由度が飛躍的に拡大している。本稿では，番組制作における映像加工を対 象に，映像解析を利用した映像表現技術の動向を紹介する。また，映像制作における課 題や，解決へのアプローチ，さらに実時間処理での映像解析技術による映像表現の応用 事例について解説する。 １．はじめに テレビ番組の映像制作には，演出を目的に多様な映像表現が盛り込まれている。とり わけドラマ番組では，収録後の加工・編集作業といった工程（ポストプロダクション， またはポスプロ）において，デジタル映像への視覚効果（ビジュアルエフェクツ （VFX：Visual Effects） ）の付加によって，リアリティーの高い映像表現が日常的に行わ れている。 VFXは，実際にはありえない情景の創作から，演出上不都合な被写体（例えば，時代 劇で，その時代にそぐわない人工建造物など）の除去といった目立たない部分に至るま で，幅広く用いられている。このようにさまざまなニーズを持つVFXであるが，この工 程は，制作時間やコストの制約がある番組制作の中で，クリエイターが煩雑な作業を積 み重ね，多大な労力をかけることにより実現されているものであり，それらの労働集約 的な側面が大きな課題となっている。 このような状況を背景に，近年，番組制作の工程管理や映像素材の管理の重要性が認 識されるようになってきている。例えば，撮影映像を素のデータ（RAWデータ）のま ま，撮影時に取得したレンズ情報などの映像に関するメタデータ（ある情報に関連する データ）とともに保存し，VFX作業の過程では，映像情報を一貫して線形かつ一定の色 空間で取り扱うシーンリニアワークフローなどの新しいワークフローが提案されてい る１）２）。これにより，加工処理による劣化が生じにくく，色調などをクリエイターの主観 に頼らず機械的に管理する制作環境が整いつつある。しかし，これはVFXにおける膨大 な作業の一部が効率化されたに過ぎず，クリエイターを真に創作活動に専念させるため ＊１ カメラで撮影した画像を コ ン ピューターにより解析し，被写 体となった対象世界や，その世 界とカメラとの関係を把握する 技術。 4 NHK技研 R&D/No.149/2015.1 には，各工程に内在する煩雑な作業を支援する技術が必要とされている。 本稿では，放送局での映像制作における課題について述べ，それらの課題を解決する 技術として，コンピュータービジョン＊１などの映像解析技術によりVFXの作業を支援す る技術や，新たな応用例について解説する。 １表 VFXにおける主な作業工程 作業工程 素材管理 プレビジュアライゼーション （プレビズ） 目的・内容 素材のバージョン管理，検索など 代表的な手法 映像データベースを利用した素材のバー ジョン管理，検索など（ラベルは手動付与） CGオーサリングツール（CG被写体の形状 撮影前の簡易な映像化による完成映像のイ や動きなどの情報を作成するソフトウエア） メージ共有 によるCG制作 ポストビジュアライゼーション 撮影直後の簡易な映像化による確認や完成 簡易CGと実写映像の仮合成 （ポストビズ） 映像のイメージ共有 被写体領域の抽出・合成 クロマキー（例えば青いスクリーンなどを 映像解析を利用した被写体領域の抽出・合 背景に用いて撮影し，色情報を利用して映 成 像上の被写体と背景の各領域を分離する手 法） 手作業による被写体領域の指定作業 カメラトラッキング （カメラの姿勢情報取得） CG制作 カラーコレクション ロトスコープ（撮影映像から手作業で被写 体の輪郭をトレースする手法）等によるマ スク作成 撮影映像の解析によるカメラの動き推定， カメラの動きと一致した自然な映像合成 カメラの姿勢計測が可能な三脚やクレーン （実写とCGの合成） の利用 映像合成の素材映像 CGオーサリングツール，ペイントツール などを利用したテクスチャー（表面模様） 作成，モデリング（形状作成） ，レンダリ ング（描画）など 色調の演出的な調整，カメラ間，映像素材 特定色空間での線形または非線形のスケー 間の色調整合 リング（拡大，縮小処理） ２．放送局における映像制作の課題 放送局の番組制作は，主に調査，企画，素材収録，ポストプロダクション，送出など の工程で成り立っている。さらに，ドラマ番組の制作において，VFXなど高度な映像加 工を伴う場合は，１表に示すような，より多くの工程が必要となる。 １表の中で，素材管理は，単に素材映像を蓄積するだけではなく，素材の一覧提示や 検索機能などの提供により，膨大な映像を効率良く取り扱えるようにすることを目的と している。現状では，時間情報などを除き，検索のためのラベルはユーザーが映像内容 を確認して付与する必要があるが，対象映像が膨大な場合，詳細にラベルを付与するこ とは現実的には不可能である。また，必要な映像を探し出せたとしても，その映像を加 工するために必要な被写体領域情報などの情報は付与されていないため，その時点から 加工に必要な情報の作成を開始することになる。このことが，作業期間の見積もりなど を困難にするとともに，制作時間の増大を招いている。 プレビジュアライゼーション（プレビズ）は，完成映像を事前に想像するための映像 をCGにより作成する作業工程３）である。例えば，撮影に必要なレンズを選定するため， あるいは完成映像のイメージを制作者や出演者で共有するために用いられる。プレビズ のためのCG制作は，通常は簡略的なものであるが，現状ではCG制作に必要な知識と作 業が必要である。テレビ番組制作においては，撮影までの準備期間が極端に短いなどの 理由から，プレビズは省略される場合もある。その場合は制作者が，出演者やスタッフ に絵コンテなどを用いて完成映像のイメージを説明することとなるが，プレビズほど直 感的な理解は得られない。 被写体領域の抽出については，ロケ現場などでクロマキーを利用可能な環境を構築で きない場合が多々あり，その場合は，手作業による被写体領域情報の作成（マット生成， あるいはキー生成などとも呼ばれる）が必要となる。この作業にはクリエイターの経験 やスキルに加えて多大な労力がかかる。このことは，映画やCM制作などと比較して，よ り時間的制約の多いテレビ番組制作においては大きな問題と言える。 NHK技研 R&D/No.149/2015.1 5 ２表 自然な合成映像の制作に必要な環境情報の整合 時間的整合 合成素材間の時刻やシャッタースピードなど 空間的整合 合成素材間の座標系，スケール，カメラパラメーター（レンズの状態，位置，向き）など 光学的整合 合成素材間の照明条件，相互反射など その他，カメラの動き情報を取得するカメラトラッキングやCG制作などの工程にも課 題が存在する。これらはCGと実写を合成するために必要となる作業である。CGと実写の 自然な合成には，２表に示すような実写の撮影空間とCG空間それぞれの環境情報の整合 が必要である。これらの整合性を確保するためには，実写撮影時のカメラの動きや照明 条件を取得し，それをCG作成時に反映させるなど，違和感を低減させる作業が必要であ る。しかし，それらの作業が撮影に制限を与えたり，作業内容によっては特殊な機器を 用いて計測する必要があるなど，表現や運用上の制約となる場合がある。 このように，各工程それぞれにおいて労働集約的な色が濃い現状の課題に対し，クリ エイターを煩雑で多大な労力がかかる作業から解放し，創造的な作業に専念させる技術 的なサポートが強く望まれている。 ３．課題解決へのアプローチ 前章では，放送局における映像制作の課題を挙げた。主な課題は，大量の素材映像の 中から，いかに効率的に希望する内容の映像を検索できるか，そして，映像加工の各工 程に有益な情報（加工用メタデータ）を，煩雑な作業なしで，いかに迅速に得られるか， という２点に整理できる。映像検索に関しては，本特集号の解説「映像検索を高度化す る映像解析技術」をご覧いただきたい。 本章では，映像加工における課題解決のアプローチとして，まず，映像制作における ワークフローの効率化について述べる。次に，制作現場で特に大きな負担となっている カメラ姿勢情報，被写体領域情報，照明情報の取得作業を対象として，これらの課題を 解決する要素技術の概要を紹介する。 3.1 映像制作ワークフローの効率化 一般的な映像制作ワークフローにおいては，作業開始時には，通常，撮影した映像の データのみが存在するため，加工に必要となるメタデータは，加工作業の開始後にさま ざまな映像解析ツールやオーサリングツールを用いて取得する。この工程の大半は，自 動処理が困難な場合が多く，そのような場合は，人手による作業が必要となる。通常こ れらの作業は経験や多大な労力を要するため，時間的制約の厳しいテレビ番組制作の足 かせとなっている。一方，放送局内ではコンテンツのファイルベース化，作業環境の ネットワーク対応が進行し，一元管理やノンリニア編集だけにとどまらず，より高度な コンテンツの利活用が期待されている。 このような課題や背景に対し，当所では，映像解析技術やセンサー技術を利用し，収 録した映像を入れておくだけで，検索用メタデータに加えて加工用メタデータが自動付 与される「素材バンク」を提案している。素材バンクの概念図を１図に示す。過去に撮 りためた映像や，取材などで新規に取得した映像を蓄積するだけで，素材バンクが昼夜 映像解析を行い，検索用のメタデータや映像加工用のメタデータが自動付与される。し たがって，クリエイターは作業の段階で，素材バンクに対し必要な素材映像をキーワー ドなどで検索すると，所望の映像と合わせて，映像加工に必要なメタデータも同時に取 得できる。 6 NHK技研 R&D/No.149/2015.1 映像制作を支援 映像解析により メタデータを自動生成 多様な映像検索 映像情報 検索用 センサー情報 手段の提供 メタデータ 加工用 メタデータ 映像情報 素材バンク 映像加工に必要な 情報の提供 １図 素材バンクの概念図 また，撮影映像の情景内に解析の手掛かりとなる情報が不足している場合，カメラ姿 勢情報や照明情報といった加工用のメタデータは取得が困難となる。そこで，素材バン クでは，撮影の妨げにならない範囲でセンサーを利用し，収録映像と合わせてセンサー 情報を蓄積しておき，映像解析だけでは生成が困難なメタデータを，センサー情報と映 像情報を併用することで，高精度に取得可能としている。 現在，素材バンクの実用化を目指し，素材バンクを構成する各要素技術の高精度化や 頑健化を進めている。 3.2 カメラ姿勢情報取得技術 カメラ姿勢情報は，実写とCGの自然な合成に必要となる情報である。例えば，時代劇 のロケでカメラを移動させながら撮影した映像に，現存しない城をCGで描画し合成する といった場合，CG世界のカメラも実写のカメラと同じ動きをしなければ，不自然な映像 となる。 カメラ姿勢情報を取得するための従来手法としては，映像解析による推定手法と，撮 ひず 影時に物理センサーを利用して取得する手法がある。映像加工には，レンズ歪みの情報 を含め高精度なカメラ姿勢情報が必要とされる。例えば，撮影映像に何らかのCGオブ ジェクトなどを合成する際に，カメラ姿勢情報の精度が不十分であると，撮影映像上の 被写体に対し，CGオブジェクトが滑る，あるいは揺れるような見え方となり違和感を生 じる。この点を考慮すると，カメラ筐体の姿勢を物理センサーで計測する手法と比較し て，撮影映像を解析してカメラ姿勢を推定する手法の方が，フレームの隅々まで位置ず れなくCGオブジェクトと合成可能なため，映像合成との親和性が高いと言える。しかし ながら，従来の映像解析による手法は，推定の安定性が撮影環境や映像内容に左右され る欠点があり，場合によっては，人手で推定のサポートを行っているのが現状である。 そこで当所では，カメラ姿勢情報取得技術の自動化・高精度化に向けて，映像解析に よる推定手法を頑健化した上で，推定が不安定となった際には物理センサーの情報を併 用し，より頑健で高精度な推定を可能にする手法を開発４）した。この手法の推定原理はバ ンドルアジャストメント５）を基本としている。バンドルアジャストメントは，まず，撮影 映像の各フレームで被写体のコーナー部分などの特徴点を抽出し，その特徴点をフレー ム間で対応点として追跡する。これらの特徴点は２次元座標を持つため，２図に示すよ うにそれぞれの撮像面に配置（ ）できる。一方，各特徴点の３次元位置とカメラの姿 NHK技研 R&D/No.149/2015.1 7 特徴点３ 再投影 特徴点１ 特徴点２ 再投影誤差 撮像面上の特徴点 被写体 撮像面 カメラ 姿勢１ フレーム３ 対応関係 カメラ 姿勢３ フレーム１ フレーム２ 未知 カメラ 姿勢2 既知 ２図 カメラ姿勢推定の基本原理の概要 （a）撮影映像 （b）誤対応点を含む三角パッチ（ピンク領域） ３図 位相幾何学的な整合性を利用した特徴点の誤対応検出結果 勢は未知であるため，それらに適当な初期値を与えて，特徴点の３次元座標（ ）を撮 像面に投影する。この投影した撮像面の点と，赤点で表される特徴点位置との誤差（再 投影誤差）の総和が最小となるよう繰り返し処理による最適化を行うことによりカメラ 姿勢を求める。レンズの歪みや焦点距離などの各係数についても，カメラの位置や向き と併せ，この最適化によって推定を行う。 ここで，この最適化による推定の精度や頑健さを決定づけるのが，特徴点の各フレー ム間での対応の正しさである。本手法では，位相幾何学的にフレーム内における特徴点 間の位相は別のフレームにおいても保存されるという拘束条件を与えることで，誤対応 を検出・抑制し，頑健化と高精度化を図っている。誤対応の検出結果を３図に示す。３ 図（b）のピンク色の三角形は，その頂点のいずれかが，誤対応の発生した特徴点である 8 NHK技研 R&D/No.149/2015.1 素材バンク 蓄積 ・・・ 素材映像 時空間領域分割処理 操作 ・・・ 領域分割 情報 被写体領域抽出処理 抽出被写体 ・・・ 領域指定 抽出結果 ４図 動画からの被写体領域分割・抽出手法の概要 ことを示している。 一方，映像解析によるカメラ姿勢推定手法には，フレーム内で特徴点が偏在した場合 に，推定の破綻や，推定結果にジッターが生じるなどの傾向がある。そこで，本手法で はこの偏在傾向や再投影誤差量を利用し，推定の状態を評価している。推定の状態が不 良な場合は，半導体製造技術であるMEMS（Micro Electro Mechanical Systems）技術 により製作した小型ジャイロスコープと床面に向いたセンサーカメラを併用したカメラ 姿勢計測用センサーであるハイブリッドセンサー13）を撮影用のカメラに取り付けて，得 られるカメラ姿勢情報を併用して再推定を行うことで，映像制作で求められる精度を確 保しつつ自動化を実現している。 3.3 領域分割・抽出技術 領域分割・抽出技術は，撮影映像上の特定の被写体領域を抽出し，例えば，別の背景 映像に合成するなどの際に利用される技術である。静止画が対象であれば，従来手法と して，抽出したい被写体領域とそれ以外の領域を大ざっぱに指示し，抽出したい被写体 領域とそれ以外の領域の色分布をガウス混合モデル＊２に従って学習した上で，グラフ ＊２ 複数のガウス分布を線形に重ね 合わせて表されるモデル。 カット６）＊３により最適化を行うグラブカット７）＊４が挙げられる。しかし，番組制作は対 象が動画であるため，より複雑な処理あるいは作業が必要となる。制作現場では，例え ＊３ 定義したエネルギー関数を最小 化する最適化手法のひとつ。 ば，既製品のツールを用いて，まず，ある時刻のフレームに対し人手により特定の被写 体の輪郭をなぞり初期値を与える。次にそのフレームに時間的に連続するフレームに対 し，輪郭を自動追跡するといった作業を行う。実際には，被写体の形状・配置が刻々と 変化する動画に対しては，現状の技術では輪郭の追跡誤りが生じるため，そのつど手作 業で修正する必要がある。また，初期値の与え方で追跡結果や合成品質が変化するため， ＊４ 抽出したい被写体領域と背景領 域の色分布をガウス混合モデル とし，グラフカットによる最適 化を用いて各領域を分離する手 法。 クリエイターの経験が要求される。 このような現状の課題に対し，当所では動画を時空間のボクセル（２次元画像の縦横 ２軸と時間の１軸による３次元空間に画素値を配置した映像情報）として捉え，事前に 色情報をよりどころに領域分割（平均値シフト法＊５によるセグメンテーション）を行っ ＊５ 空間内に分布する点群の密度が 極大となる点を，繰り返し処理 により発見するデータ解析手法。 NHK技研 R&D/No.149/2015.1 9 実写 CG （a）照明条件 -１ （b）照明条件 - ２ （c）照明条件 - 3 ５図 推定した照明条件を利用し描画したCGと実写との比較（被写体は白色球体） ておき，この領域分割された情報に対し，クリエイターが大ざっぱな指示を与えるだけ で特定の被写体領域を抽出できる手法８）を開発した。概要を４図に示す。この手法におい ては，領域分割の粒度が異なるように条件を変えて作成した複数の領域分割情報に対し， ボクセル空間における接続情報（時空間において画素が隣接しているか否かの情報）を 利用することで，同一の被写体は接続され，異なる被写体は分離されるような処理を 行っており，適度な領域数に分割することにより，高精度な抽出を可能にしている。 この技術は，領域分割と被写体領域抽出の２つのフェーズから構成されるが，前段の 領域分割処理は自動化が可能なため，事前に自動処理しておくことができる。抽出処理 はグラブカットをベースとした高速な手法であるため，クリエイターがインタラクティ ブに所望の被写体に対し操作を行うことができる。 3.4 照明情報取得技術 番組制作において実写とCGを合成する場合，実写撮影空間の照明情報をCG描画に利 用することで，違和感の低減が可能となる。実写撮影空間の照明情報を取得する一般的 な手法としては，CGを合成する付近に球状の鏡を設置し，これをデジタルカメラなどに より撮影し，周囲の大域照明情報を高ダイナミックレンジで取得する手法９）がある。この 手法の場合，変化する照明への対応が困難なほか，高ダイナミックレンジで情報を取得 する必要があるため，通常のダイナミックレンジのカメラで露光量を変更しながら複数 回撮影するか，高ダイナミックレンジで撮影できる特殊なカメラが必要となる，などの 課題がある。 当所では，照明を直接計測するのではなく，スタジオ内に天井へ向けて設置した小型 広角センサーカメラの映像を用いて，スタジオセットなどに対する照明の影響を解析す ることにより，間接的にスタジオ照明を構成する各照明の色調や強度をリアルタイムに 推定可能な手法10）を開発した。この手法は，照明の線形性を利用したものであり，事前 ＊６ 線形和により任意の照明効果を 表現可能とする画像。 にスタジオ内の基本的な照明情報（照明の位置や各照明による基底画像＊６など）を取得 する必要があるが，直接照明の明るさを計測しないことから，通常のダイナミックレン ジの簡易なカメラで計測することができる。この手法により，実写とCGで照明条件の合 致した自然な合成映像を簡易な機器で制作できる。５図に，実物の白色球体と照明装置 を用いて撮影した実写映像と，推定した照明条件を利用してCGの白色球体を描画した結 果との比較を示す。 10 NHK技研 R&D/No.149/2015.1 ジャイロスコープ レーザー測距計 Ry Ty ハイブリッド センサー Rx Rz （回転量） （高さ） センサーカメラの 放送用 映像解析 カメラ y Tz z x Tx （床に対する平行移動量） 3次元座標系 ６図 カメラ姿勢情報を計測するハイブリッドセンサーの概要 ４．リアルタイム映像解析による映像表現の最新動向 前章までは，VFXなどのポストプロダクションを対象とした映像解析技術を紹介した。 映像解析技術には，センサー技術の併用やアルゴリズムの工夫により，１秒間に30フ レームの映像をリアルタイムに処理可能な手法がある。この章では，リアルタイム映像 解析技術を生かした映像表現への応用例について紹介する。 4.1 バーチャルスタジオへの応用 バーチャルスタジオは，カメラの動きに合わせてリアルタイムでCGを描画し，実写映 像に合成する映像表現手法で，あたかも，CGの世界に出演者が入り込んでいるような映 像を生放送で利用できるシステムである。例えば，実際にはいない場所に出演者を登場 させたり，情報番組で分かりにくい情報を可視化して分かりやすく伝えるといった目的 で，近年，放送局では頻繁に用いられている。 このバーチャルスタジオの課題として，カメラ姿勢を計測するために，物理センサー を取り付けた専用の三脚やクレーン，ドリー（移動撮影用のカメラ用台車）を用いる必 要があるため，ハンディカメラによる撮影ができない点が挙げられる。これまでに，撮 影映像から映像特徴点とその３次元位置を学習し，これを用いてカメラの姿勢を推定す る手法が提案11）されているが，テレビ番組制作で求められる精度を確保できていなかっ た。 そこで当所では，事前にスタジオセットの形状や模様を学習し，撮影映像から被写体 のエッジを拠り所に高精度かつリアルタイムにカメラ姿勢を推定する手法12）を提案した。 しかしながら，推定における遅延量が多いという課題が残っていた。制作現場では，撮 影映像に対する合成映像の遅延量は，リップシンク（口の動きの画像と音声との同期） などの観点から約３フレームが許容限と言われている。この課題に対し，素材バンクの 要素技術として開発したハイブリッドセンサー13）を応用することで解決を図り，ハン ディカメラによるバーチャルスタジオを実現した。 ハイブリッドセンサーは，６図に示すように，放送用カメラに取り付けた小型のジャ イロスコープによりカメラ姿勢情報のうち回転量を，レーザー測距計により鉛直方向の 並進量を，センサーカメラの映像解析により水平方向の並進量を，それぞれ個別に計測 する。水平方向の並進量は，床面に向けたセンサーカメラの映像から，床面の模様や僅 NHK技研 R&D/No.149/2015.1 11 かな傷などを手がかりとしてリアルタイムに映像解析を行い取得している。このシステ ムは，映像解析部の計算量が少ないため，リアルタイムかつ低遅延でカメラ姿勢情報を 計測し，CG合成を行うことができる。このことから生放送である「着信御礼！ケータイ 大喜利」をはじめとするNHKの番組で利用され好評を博した。 また，3.4節で述べた照明情報取得技術は，簡易な機器構成でリアルタイムに計測が可 能な手法であり，これまでスタティックな照明環境で利用されてきたバーチャルスタジ オに対し，ダイナミックに変化する照明による演出効果を付与することができる。 4.2 視聴者端末への応用 前節において実時間カメラ姿勢情報取得技術の映像制作における応用事例を紹介した が，ここでは，制作者側ではなく，視聴者側のサービスへの応用例を紹介する。 2013年９月にハイブリッドキャストのサービスが始まり，テレビ視聴において，セカ ンドスクリーンの活用も加速しており，視聴スタイルとして定着していくものと考えら れる。このような状況から，当所では，よりテレビとセカンドスクリーンを緊密に連携 させたコンテンツ視聴方法の一形態として「Augmented TV」を提案14）している。 このAugmented TVは，セカンドスクリーンとしての携帯端末に内蔵されたカメラで 取得した映像を携帯端末上で解析し，テレビ側と携帯端末側のコンテンツの同期処理と， テレビの携帯端末に対する相対姿勢情報の取得を行っている。解析により得られた情報 を利用することで，例えば，携帯端末を介し，あたかもテレビからキャラクターが飛び 出してきたような拡張現実感を伴ったコンテンツ視聴が可能である。 詳細は，本特集号の報告「テレビ映像を画面外に拡張するシステム『Augmented TV』 」を参照されたい。 ５．おわりに 本稿では，映像解析により高度化する映像表現技術と，番組制作における従来の課題 を解決するための最新の研究動向について述べた。 コンピュータービジョンをはじめとする映像解析技術は，今後も着実に進歩していく ものと考えられる。一方，映像表現という創作活動において，すべてを自動化すること は目的ではなく，これまで煩雑な作業とされていた部分をコンピューターがサポートし， 制作者がクリエイティブな作業に専念できる環境を提供することが重要と考えている。 この考え方に基づき当所で提案している素材バンクは，素材映像の利活用，自由度の高 い映像表現，効率的なワークフローの実現を目的としたものであり，その要素技術の高 精度化などを進めつつ，番組制作現場と連携して実用化を目指していく。 また，映像表現や番組制作への応用にとどまらず，各映像解析技術を応用したサービ スやアプリケーションの開拓を進めていく。 12 NHK技研 R&D/No.149/2015.1 参考文献 1） ACES （ Academy Color Encoding Specification ） Science and Technology Council Academy of Motion Picture Arts and Science： “The Academy Color Encoding System Idealized System， ”http：//www.oscars.org/sciencetechnology/council/projects/pdf/ ACESOverview.pdf 2）“Open Source Color Management， ”http：//opencolorio.org/ 3） 森，一刈，柴田，木村，田村： “実世界の撮影現場で3D映画演出を事前検討できるMR PreVizシステムの開発， ”日本VR学会論文誌，Vol.17，No.3，pp.231240（2012） 4） 三ッ峰，武藤，藤井，加藤： “映像加工を考慮した頑健なカメラパラメータ取得法， ”画電学年 次大，R61（2013） 5） 岡谷： “バンドルアジャストメント， ”情処学CVIM研資，No.37，pp.116（2009） 6） 石川： “グラフカット， ”情処学CVIM研資，No.31，pp.193204（2007） 7） C. Rother，A. Blake and V. Kolmogorov： “ “GrabCut” ：Interactive Foreground Extraction Using Iterated Graph Cuts， ”ACM Trans. Graphics，Vol.23，No.3，pp.309314（2004） 8） 大久保，三ッ峰： “インタラクティブな被写体領域動画抽出のための時空間領域分割手法 ∼ 「素材バンク」における映像解析処理と利用∼， ”ビジョン技術の実利用ワークショップViEW 2013，OS1O3（2013） 9） P. E. Debevec and J. Malik：“Recovering High Dynamic Range Radiance Maps from Photographs， ”Proc. ACM SIGGRAPH 1997，pp.369378（1997） 10）盛岡，大久保，三ッ峰： “映像合成のためのセンサカメラによるリアルタイム照明推定手法， ” 第13回情報科学技術フォーラム講演論文集，No.3，I006，pp.169170（2014） 11）G. Klein and D. Murray：“Parallel Tracking and Mapping for Small AR Workspaces，” Proc. IEEE/ACM ISMAR 2007，pp.225234（2007） 12）H. Park，H. Mitsumine and M. Fujii： “Adaptive Edge Detection for Robust ModelBased Camera Tracking，”IEEE Trans. Consum. Electron.，Vol.57，No.4，pp.14651470 （2011） 13）加藤，武藤，三ッ峰，岡本，A. Moro，関，水上： “MEMSセンサと画像解析を用いた放送用 カメラの姿勢と位置の計測手法の一検討， ”日本ロボット学会誌，Vol.32，No.7，pp.211 （2014） 14）川喜田，中川，佐藤： “Augmented TV：携帯端末内蔵カメラを用いてTVの映像を画面外へ拡 張するシステム， ”日本VR学会論文誌，Vol.19，No.3，pp. 319328（2014） み つ み ね ひでき 三ッ峰秀樹 1991年入局。名古屋放送局を 経て，1993年から放送技術研 究所において，被写体の映像 部品化，映像合成，バーチャ ルスタジオの研究に従事。現 在，放 送 技 術 研 究 所 ハ イ ブ リッド放送システム研究部上 級研究員。博士（工学） 。 NHK技研 R&D/No.149/2015.1 13