位相限定相関を用いた古いフィルム映像の 位置ずれとショ ッ トチェンジ

位相限定相関を用いた古いフィルム映像の
位置ずれとショットチェンジ検出法
東北大学
阿部
正英・川又
政征
日本工業出版「画像ラボ」第18巻第2号
日工No．2007．2．08．05．
GO611-O4
0915-6755/07/¥500/詩文/JCLS
位相限定相関を用いた古いフイルム
映像の位置ずれとショットチェ ンジ
検 出 法 ，
□
□
東北大学
阿部正英・川又政征
本稿では、著者らの研究グループで提案する古いフィルム映像の位置ずれとショットチェンジ検出法について述べる。提
案法では、位相限定相関を用いて高精度にショットチェンジを検出する。さらに、フレームの位置ずれをサブピクセル精度
で検出する。実験より、フリッカやブロッチなどの劣化ある古いフィルム映像に対して、提案法により位置ずれとショット
チェンジが検出できることを示した。
《
i
i
i
心
は
じ
め
に
ある。このフリッカは、カメラ内部の
フィルム送り機構の不規則回転による
{
i
心
ショットチェンジ
検出法
19世紀末のフィルム映画の発明以
露光時間の変化や現像時の発色むら、
来、大衆文化やマスメディアの記録媒
感光面の経年劣化などにより生じる。
映像中のショットチェンジを検出す
体として膨大な量の映像が記録されて
ブロッチは、フィルム保管時や上映時
る処理は、映像信号処理において共通
きた')。これらフィルム映像の多くは、
に生じるフイルム表面の剥離や、挨や
した第一段階の処理として非常に重要
文化的、芸術的そして歴史的価値が高
髪の毛がフイルムに付着することによ
な処理である。例えば、映像理解や映
像をシーンごとに分割する際の前処理
い。例えば、これらのフイルム映像は
り生じる画素の欠落である。スクラッ
当時の文化や情勢、街並みを知る上で
チは、フイルム表面の引っ掻き傷によ
として、映像のショットチェンジ検出
重要な資料となる。
る縦方向の画素の欠落であり、上映時
は必須である'4)。
これらの古いフィルム映像は、大き
の映写機とフィルムの接触により生じ
く分けて次のような劣化を生じている。
る。その他に、テレシネの際の熱雑音
いくつかの種類が存在する'5)。
●フレームごとの位置ずれ
や、フィルムグレイン雑音、また映像
●カット
●フリッカ
全体のぼけなど多くの劣化を生じてい
●ディゾルブ
●ブロッチ・スクラッチ
る。このような劣化フィルムをディジ
●フェードイン、フェードアウト
●その他のノイズ
タル的に保存・修復する手法が盛んに
カットとは、あるショットの1フレー
フレームごとの位置ずれは、視覚的に
研究されてきた2)∼5)。
ムの次のフレームが別のショットにな
映像が上下左右にランダムに揺れるよ
本稿では、著者らの研究グループで
ショットチェンジには以下のように
る点のことである。ディゾルブはある
うに見える劣化である。この位置ずれ
提案している古いフイルム映像のディ
ショットから別のショットへ徐々に映
は、手振れなどカメラ全体の揺れに起
ジタル修復6)∼13)についてシヨツトチ
像が切り替わる効果のことをいう。ま
因するものの他に、カメラ内部のフイ
ェンジ検出法6)とフレームごとの位置
た、フェードインは映像が主に黒い画
ルム送り機構の同期の不安定性やフィ
ずれ検出法7)について概説する。
面から徐々に映像が現れる効果のこと
ルムパーフオレーション（送り穴）の
であり、フェードアウトは映像が徐々
精度不良により生じる。フリッカは、
に消えていき、画面が黒くなる効果の
フレームごとに輝度値がランダムに変
ことである。
化し、映像がちらついて見える現象で
16画像ラボ2007.2
著者らの研究グループでは、古いう
位相限定相関を用いた古いフィルム映像の位置ずれとショットチェンジ検出法
らのアルゴリズムでは、古いフイルム
映像を人手を介さずに自動的に修復す
ることを目的としている。修復アルゴ
︵函冒言ロ︶骨幽
ズムの開発を行っている6)∼'3)。これ
相スペクトルが−冗∼汀の間の一様分布
Ｂ
０２
０Ｊ
０ Ｏ印
イルム映像のディジタル修復アルゴリ
であるとしている。また、画像として
画像サイズjV,×jV2の画像を考えると、
異なる画像間の位相限定相関のサンプ
ル
値
は
、
平
均
j
v
l
l
j
v
2
、
分
散
M
1
j
v
2
の
正
リズムによる完全自動化修復システム
50
の開発のために、映像をショットごと
のカット点での位相限定相関のサンプ
112−50−50皿］
に分割する処理は必須となる。
ル値の分布を示す。前述のようにサン
(a）同一ショット
本章では、まず劣化映像に対してロ
300
25□
計。︻二○二写。﹄畠
︻。
限定相関'6)を用いてカットを検出す
Ｏ５
Ｏ０
０
０
２
１１
提案するカット検出法6)では、位相
︵函ロ当ロ︶骨、
カット検出法
プル値の分布が正規分布状になってい
３
２Ｏ
１０印
０Ｏ
バストなカット検出法について説明す
る。次に、映像への適用例を示す。
規分布に従う。第2図に、実際の映像
図
００
される相関である。
8
，
b
(
"
'
,
"
2
）
言
厨
{
磯
:
蝋
急
l
…
u
1
-F-{‘恥I……)］…(2)
５
る。位相限定相関は次式のように定義
（b）カット点
−0．01−0．00500．0050.O1
第1図原点付近の位相限定相関の比較
SampIcvaIuc
第2図異なる画像間の位相限定相関のサ
ンプル点の分布
つであるフリッカに対してロバストで
あるという性質を持つ。
ることがわかる。
ここで、カットの判別に用いるピー
本提案法では、異なる画像間の位相
ここで、F−1は離散空間フーリエ逆変
ク値の閥値について考察する。悶値は
限定相関のサンプル値が正規分布に従
換を示し､A(ejの',ej"2)とB(e/"1,ej"，）
大きすぎると本来ショットチェンジの
う性質を利用して、カット検出のため
はそれぞれ画像α("',〃2)とb("1，〃2)の
起こっていないフレームをカットとし
の閥値乃を設定する。誤判別を避ける
スペクトルを表すbまた、α(e/"‘，e/"璽）
て検出してしまい、小さすぎるとカッ
ためには、乃は全く違う画像の位相限
とβ(ej"‘，eﾉ"2)はそれぞれ画像α("'，
トを検出できない。カットを高精度に
定相関の最大値より若干大きい値にす
"2)とb("ﾉ,〃2)の位相スペクトルであ
検出するには、閥値を適切な値に設定
ることが望ましい。ここで、平均値β、
る。この位相限定相関は、相関を計算
することが重要である。提案法ではこ
分散ぴ2の正規分布の密度関数をf(x)と
する二つの画像の類似度が高い場合鋭
の閥値を、位相限定相関の数学的性質
すると、
いピークを持ち（第1図（a))、全く違
により決定する。以下では、この数学
う画像の相関を計算した場合は大きな
的性質として、全く異なる画像間の位
ピークを持たない（第1図(b)）という
相限定相関のサンプル点の分布に関す
性質がある。提案法では、連続するフ
る性質を示し、これらの性質を利用し
レーム間の位相限定相関を計算するた
てカット検出の閥値を決定する。
め、カット時に極端にピーク値が小さ
位相限定相関は、第1図(b）のよう
くなる。よって、提案するカット検出
に、カット点では大きなピークを持た
法では、各フレーム間の位相限定相関
ず小さい値を持つ。このサンプル値は、
のピーク値を測定し、極端に値の小さ
正規分布に従うことが中心極限定理に
（難)=涼‘-票…似
〆一、
；
劃
く
くなった点をカット点とする。また、
より示される。この時、カット点での
位相限定相関はその計算過程において
異なる画像の条件として、位相限定相
振幅スペクトルを正規化するため、古
関の計算式(1)中の二つの画像間の振
いフィルム映像中に存在する劣化の一
幅正規化クロスパワースペクトルの位
、一〆
L皇
に
xTp
第3図正規分布の例
画像ラボ2007．217
と表され、第3図のような分布となる。
Iま、式（5）で定義されるように画像サ
瀞蝋
図の斜線の部分の面積が分布全体の
蕊
100％となる点を求める刀とすれば良い
イズから決定される。図から明らかな
ようにどちらの画像サイズでも劣化の
∼ ＝
が、式(3)の'性質上100％となるのはCO
ない映像に対-しては、フレーム99のみ
のときである。刀をCOに設定したので
が闘値以下、つまりカット点として検
第4図実験に用いた映像
は、当然カット点を検出できない。し
出される。
たがって本論文では、99.865％となるx
の値を求め、その4倍の値をz1，とした。
この99.865％という数値は次のように
定められた。まず、x＝一COから〃ま
カット検出法の映像への適用
本節では、前節で提案したカット検
映像で、標準映像のGardenとSales‐
分布の'性質より49.865％となる。似＝O
manをつなげることによりカット点
弓
鱒電
出法の本提案法の有効性を確認する。
での面積は、全体の50％である。x＝〃
から〃＋3ぴまでの面積の割合は、正規
ス ー
四
億
軍
蔭
.
,
4
;
I
』
実験に用いた映像は、第4図に示す
L
琵旬
歩
第6図人工的に劣化させた映像
のときのX＝3びとなる点x3αは、dが
を作成した。カット点はフレーム99で
次に、第6図に示す劣化映像を用い
画像サイズにより定まるので容易に求
ある。また、二つの映像は縦横比が異
て、提案法によるカット検出を行った。
まる。したがって、これらを加算する
なるため、Salesemanの上下を切り
この結果を第7図に示す。劣化の影響
と99.865％となる。また、4倍という倍
落とすことによりGardenの画像サイ
により、第5図の結果と比べて全体的
率は、いくつかのサイズの異なる映像
ズに合わせた。フレームサイズは
にピーク値は小さくなっているが、閥
に対して実験を行い定めた。よって、
240×360ピクセルである。
値以下となったのはフレーム99の時だ
ショット判別のための閥値乃は、
第4図の映像に対して提案する手法
けであり、劣化映像に対しても正確な
乃＝,α＋4X3び…(4)
でカット検出を行った際の評価関数値
カット検出が行えた。また、画像サイ
‐赤寺赤…(訓
を第5図に示す。第5図（a）は原画像
ズがそのままの場合でもDC画像を用
そのままのサイズで位相限定相関を計
いた場合でも、劣化のない状態の映像
で求められる。画像サイズが大きくな
算した場合のピーク値とカット検出の
と同様の結果が得られた。また、提案
ると、この式の第一項の値は無視でき
ための閥値を示す。第5図（b）はYeo
法では、劣化のない場合でも劣化のあ
るほど小さくなる。式(5)から明らか
らの手法'4)と同様にDC画像、つま
る場合でも、画像サイズが同じ映像に
なように、カット検出のための悶値は
り画像サイズを縦横それぞれl/8に縮
対しては同様の閥値を用いてカット検
画像サイズのみに依存し、相関を計算
小した画像に対して、位相限定相関を
出が行えることが確認できた。
する画像の'性質には全く依存しない。
計算した場合のピーク値と検出のため
実際の映像に対するカット点の検出に
の闘値を示す。図中のそれぞれの閥値
100150200250300
０
の三一房匂。一昌一冒国
50100150200250300
0
250300
(a)原画{象
鯉T､w'rWwYw1rv
50100150200250300
FrameNumber
（b）DC画｛象
第4図の映像に対する位相限定相
100150200
炉糾僻
FrameNumber
第5図
50
FrameNumber
１５０
0
関のピーク値の推移
18画像ラボ2007.2
H
(a)原画像
1
判
視
倉
J
詞
汽
縄
｡
q
ｰV
､
'
､
'
ﾍ
FvV
割・
'
一
両
ためには開始点や終了点だけわかれば
良い。
０
０
①昌雰己。旨ョ君国
し、この手法ではフェード区間の推定
は行えない。しかし、ショット分割の
１５０
することになり、これらの画像は全く
違う画像とみなせるためである。ただ
50
FrameNumber
像とショットの最初のフレームまたは
最後のフレームの位相限定相関を計算
③呂夢冒冒二雲国
Ⅱ
１５０
ンの開始点とフェードアウトの終了点
も検出可能である。これらの点は黒画
０
また、本提案法により、フェードイ
．弓詳での旨二一毎国
果、正確に検出できることを確認した。
１５０
この手法で導出された闘値を用いた結
（b）DC画像
第7図
第6図の映像に対する位相限定相
関のピーク値の推移
位相限定相関を用いた古いフィルム映像の位置ずれとショットチェンジ検出法
《
i
少
フレームごとの位置
ずれ検出法
の位置ずれ量を推定できる7)。
サブピクセル精度での位置ずれ検
とショットチェンジ検出法について述
べた。提案法では、位相限定相関を用
出・補正には、位相限定相関がsinc関
いて高精度にショットチェンジを検出
数で近似できる性質を用いる。位置ず
する。さらに、フレームの位置ずれを
パーフオレーションの精度不足やカメ
れ量（て,’て2）が整数値でない場合、
サブピクセル精度で検出する。実験よ
ラ内部のフイルム送り機構の同期の不
画像α("!,〃2）とb(",,〃2）＝α(",−て,，
り、フリッカやブロッチなどの劣化あ
安定性、手振れにより生じる。また、
"2−て2）の位相限定相関gab（",，〃2）
る古いフィルム映像に対して、提案法
フィルムから映像をスキャンする段階
は
、
により位置ずれとショットチェンジが
フレームごとの位置ずれは、カメラ
やテレシネの段階により生じることも
ある'7)。位置ずれは、上記のような発
g
‘
‘
(
"
,
,
"
2
)
=
F
1
[
e
j
･
'
i
'
川
･
郡
'
e
…
j
］
＝
s
i
n
c
(
"
l
+
r
l
)
s
i
n
c
(
"
2
+
で
2
)
…
(
7
)
生原因からフレームごとの平行移動と
考えられ、次式のようにモデル化され
となりsinc関数で表せる。よって、離
る。
散的に求められた位相限定相関に対し
Ih("l,"2)＝Eh("l−て1,"2 て2）…(6)
検出できることを示した。
て連続的なsinc関数で近似し、近似さ
れたsinc関数のピークの位置を調べる
参考文献
l）P・ReadandM．P・Meyer,“Restorationof
E"(",,〃2）とI"(",,〃2）は、それぞれ
ことによりサブピクセル精度で位置ず
フレーム番号〃のときの原画像と劣化
れ量を検出できる。サブピクセル精度
画像を示す。（て,’て2）はフレーム〃の
の位置ずれ補正を行うには、サブピク
位置ずれ量を示す。ディジタル画像に
セル位置の画像の輝度値が必要である。
おいては（",,〃2）は整数座標だが、
文献7）では、元の画像データと位置
誌、vol,55,no､12,pp,1599-1604,2001.
4）斉藤隆弘、“ディジタル画像処理によるフイル
(て,’て2）は整数値とは限らない。こ
ずれ量だけ移動させたsinc関数との畳
れは、実際のフィルム上での位置ずれ
み込みによって画像を移動させる方法
量が整数値とは限らないからである。
そのため、高精度な位置ずれ補正のた
を用いる。この方法により画像/(",,"2）
を(て,,T2)だけ移動させた画像〆",,"2)
めには位置ずれ量をサブピクセル精度
は
、
(小数画素精度）で推定し、補正する必
要がある4)。
MotionPictureFilm,”Butterworth-Heine‐
man､,2000.
2）A、CKokaram，“MotionPictureRestora‐
tion,”Springer-Verlag,1998.
3）斉藤隆弘、“ディジタル画像処理によるフイル
ム映像の復元(1)、”映像情報メディア学会
ム映像の復元(2)、”映像情報メディア学会
誌、vol､56,no､1，pp,85-92,2002.
5）萩原瑞木、“古いフイルム映像のディジタル修
復に関する研究､”東北大学大学院工学研究科
博士論文、2005.
6）萩原瑞木、阿部正英、川又政征、“位相限定相
ノV1−lM−l
/
:
！
(
"
l
,
"
2
)
=
Z
z
s
i
n
c
d
(
j
l
r
l
,
j
2
r
2
）
／,＝012＝0
文献7）では位相限定相関を用いた
×/("l−jl,"2−J2）．..(8)
関を用いた映像劣化に対してロバストなショ
ットチェンジ検出法､”映像情報メディア学
会学会誌、vol,60，no､8，pp．l271-1280,
2006.
サブピクセル精度でのフレームごとの
7）M・Hagiwara，M，AbeandM、Kawamata，
位置ずれの補正法が提案されている。
fOroldfilmsusingphase-onlycorrelation,，，
位置ずれ量の推定には、位相限定相関
JournalofSignalProcessing,vOL8，，0．5，pp、
“Estimationmethodofframedisplacement
421-429,2004.
の持つ次の性質を利用する。
まず、位相限定相関には自己相関関
数がデルタ関数になるという性質があ
る。また、相関を取る2つの画像に位
置ずれが存在する場合には、位相限定
相関はデルタ関数のピークの位置が位
血
州
博
曇
:
：
置ずれ量の分だけ移動したものとなる。
実際のフィルム映像では、位相限定相
関を計算する2つの画像が完全に一致
することはないが、その一致度が高い
場合には鋭いピークを持つ。これらの
8）能登屋陽司、川又政征、“映像修復のための非
線形動き推定､”JoumalofSignalProcess‐
ing,vol､3，no､6，pp､471-479,1999.
9）斎藤貴之、阿部正英、川又政征、“古いフィル
ム映像の修復におけるブロッチノイズの位置
の推定とその‘情報を用いた動き推定､”no・
DSP2001-101,pp､9-16,2001.
10）大野誠司、阿部正英、川又政征、“フリッカ
に強い動き推定を用いた古いフィルム映像の
で表される。
フリッカ補正､”第17回ディジタル信号処理
シンポジウム講演論文集、no.D3-6,2002.
湾
i
i
i
心
お
わ
り
に
11）浜口洋司、阿部正英、川又政征、“古いフイ
ルム映像における動きに対してロバストなフ
リッカパラメータ推定､”no・SIP2004-81,pp，
31-36,2004.
性質から、位相限定相関のピーク位置
本稿では、著者らの研究グループで
12）阿部正英、目黒洋一、川又政征、“移動物体
を測定することにより、2つの画像間
提案する古いフィルム映像の位置ずれ
検出と時間領域メディアンフィルタリングを
画像ラボ2007．219
用いた古いフイルム映像のブロッチ除去､”電
子情報通信学会論文誌、vol.J88-A,no､1，pp・
’1-22,2005,
13）阿部正英、川又僚太、庄子弘毅、川又政征、
太田直久、小野定康、“古い映画フイルムの高
解像度ディジタルスキャン､，,映像情報メデ
ィア学会技術報告、pp､1-4,2006.
14）BLYeoandBLiu,“Rapidsceneanalysis
oncompressedvideo,'，mEETrans・Circuits
11筆者紹介I
阿部正英
川又政征
東北大学
東北大学
大学院工学研究科
大学院工学研究科
電子工学専攻
電子工学専攻
助教授
教授
〒980-8579
〒980-8579
andSystemsfbrVideoTeclmology，vol、5，
宮城県仙台市青葉区荒巻字青葉6-6-05
宮城県仙台市青葉区荒巻字青葉6-6-05
no､6，pp､533-544,1995.
TEL：022-795-7094
TEL：022-795-7057
FAX：022-263-9169
FAX：022-263-9411
E
−
m
a
i
l
：
m
a
s
a
h
i
d
e
＠
m
k
e
c
e
i
､
t
o
h
o
k
u
､
a
c
j
p
〈主なる業務歴及び資格〉
E
m
a
i
l
：
k
a
w
a
m
a
t
a
＠
m
k
､
e
c
e
i
・
t
o
h
o
k
u
・
a
c
j
p
〈主なる業務歴及び資格〉
15）UGargi,R､KasturiandSStrayer,“Per‐
formancecharacterizationofvideo-shob
changedetecion,”IEEETrans,Circuitsand
SystemsfbrVideoTechnology,vol､10，no.’，
1999年、東北大学大学院工学研究科博士
1982年、東北大学大学院工学研究科博士
16）C､D,KuglinandD.C､Hines,“Thephasecor‐
課程修了。同年同大大学院工学研究科助
課程修了。同年同大工学部電子工学科助
relationimagealignmentmethod,'’Proc，
手、2004年同講師、2006年同助教授、現在
手、1988年同大工学部情報工学科助教授、
pp､27-31,2000.
IEEEIntemationalConferenceonCybemetics
andSociety,pp,163-165,1975.
17）P.M,B､vanRoosmalen,“Restorationof
ArchivedFilmandVideo,”PhDthesis，
DelftUniversityofTechnologyinDutch，
1999.
1
8
）
L
．
P
．
Y
a
r
a
s
l
a
v
s
k
y
,
“
S
i
g
n
a
l
s
i
n
c
i
n
t
e
r
p
o
l
a
‐
tion：Afastcomputeralgorithm,”Bioimag‐
1,9,voL4,pp､225-231,1996.
20画像ラボ2007.2
に至る。適応信号処理、遺伝的アルゴリズ
1995年同大工学部通信工学科教授を経て、
ム、画像・映像処理に関する研究に従事。
1997年同大大学院工学研究科電子工学専攻
博士（工学)。
教授、現在に至る。1次元および多次元デ
ィジタルフィルタの設計、知的信号処理、
画像・映像処理に関する研究に従事。工学
博士。