デジタルカメラのための 被写界深度制御ソフトウェア

デジタルカメラのための
被写界深度制御ソフトウェア
大島商船高等専門学校
電子機械工学科
准教授 岡崎 秀俊
研究の背景 ～ デジタルカメラの特長
１．小型、軽量、高画質
２．撮影後、すぐに画像を確認できる
３．ランニングコスト不要
４．画像の整理が容易
あらゆる点でフィルムカメラを凌駕している？
置き去りにされた問題
デジタルカメラは被写界深度が深いため、背景をぼかして
被写体を注視させる写真表現を用いることが困難！
フィルムカメラの画像
デジタルカメラの画像
なぜこうなるのか？
光学的原理
フィルムカメラ
デジタルカメラ
ＣＣＤ
24mm
画面サイズ
4.8ｍｍ
6.4mm
36mm
長さ比： 約1/5
レンズの焦点距離
(同一画角）
f=50mm
f=9.24mm
約1/5
ぼけの大きさの比
1
約1/25
ぼけの大きさはスケールの２乗に比例するため、画面が小さ
くなるほど被写界深度が深くなる。
従来の解決案
①フィルムカメラと同等の画面サイズ(約36mm×24mm)を持
つ大型の撮像素子を搭載する方法
②特殊な光学系を用いて被写界深度を浅くする方法
問題点
①では、撮像素子のコストが高く、光学系のサイズが大きい。
②では、光学系が複雑で製造コストが高い。
いずれも、カメラの小型化が困難
・・・・・光学的問題を光学的手法で解決しようとしている
目標とするシステム
その１．ユーザーが係数を調整することにより、被写界深度を
自由に調整できるシステム（ＰＣアプリケーション等）
その２．予め設定したフィルムカメラのデータから、同等の被写
界深度を自動的に得られるシステム
（デジタルカメラのファームウェア等）
基本方針
・背景をぼかすために大きなCCDや光学系を作りたくない・・・・。
・ソフトウェア(ウェーブレット変換）を用いて、デジタルカメラ画像の
小さなぼけを、元のぼけの大きさに比例して拡大する。
ウェーブレット変換の例
スケール１
原画像
2
1
スケール３
スケール２
3
平滑
成分
再構成画像
水平
方向
エッジ
成分
順変換(分解）
垂直
方向
エッジ
成分
逆変換(合成）
2
3
高周波
2倍
1
周波数
1/2
低周波
ウェーブレット変換の特徴
１．画像を多重スケールの微分（エッジ）成分と平滑成分に分解
（スケールが１つ増えると、周波数が1/2になる）
２．任意の座標について、スケールごとの解析、操作が可能
３．分解した周波数成分を合成することにより画像を再構成
原画像
スケール１
の成分 ２
３
順ウェーブレット
変換(分解）
再構成画像
逆ウェーブレット
変換(合成）
解析・操作
提案する方法
１．デジタルカメラ画像の小さなぼけを、元のぼけの大きさに比例し
て拡大することにより自然なぼけが得られる。（多重スケール）
２．ピントの合っている所は、ピントを保持する。（任意座標の処理）
ぼけの大きさ
ウェーブレット変換による修正特性
フィルムカメラの特性
ピントが合って
いる座標は修正
を行わないため
しきい値
デジタルカメラの特性
ピント位置
ピント位置からの距離
エッジ成分のデータ操作による、ぼけ拡大の原理
輝度
デジタルカメラのエッジ
a
ウェーブレット変換により
修正したエッジ
a
b
スケール １
スケール２
ぼけが小さいのでスケール間の
エッジの差分値の変化が小さい
スケール １
b
画像の座標
スケール２
スケール１の差分値aを小さくするとエッ
ジが滑らかになり、ぼけが大きくなる
提案するシステム
逆ウェーブレット
変換
順ウェーブレット
変換
スケール１
のエッジ成分 ２
３
原画像
しきい値
設定
制御係数
設定・乗算
ピントが合っている座標は係数の乗算を行わない
条件：スケール１の振幅＞しきい値
再構成
画像
１．ユーザーが自由
に係数を設定
２．フィルムカメラの
データから得ら
れた係数を設定
ユーザーが自由に設定した係数による実施例
デジタルカメラで
撮影した入力画像
制御係数 C1,C2,C3
= 0.3, 0.5, 0.7
制御係数 C1,C2,C3
= 0.1, 0.2, 0.3
係数の組み合わせで、背景のぼけを自由に修正できる。
想定したフィルムカメラと同等の被写界深度を得る方法
１．予め、実験データより被写界深度補正係数Rj を求める
２．撮影時の距離から、距離補正係数 を求める
３．ウェーブレット変換の各スケール（ ｊ = 1,2,3・・）の微分画像に制御
係数 Ｃｊ を乗じる
４．逆ウェーブレット変換により、想定した被写界深度の画像を得る
ウェーブレット変換の微分成分に乗
じる制御係数（スケール ｊ =1,2,3・・ ）
C j = Rjb
想定したフィルムカメラと実際のデジタ
ルカメラのぼけの差による補正係数
Rj 設定時と、実際の撮影時
の距離の比による補正係数
ぼけの補正係数 Rj を求める
背景（テストパターン）
a'
テストパターンの撮影
１）被写体距離aと背景距離a を設定
２）カメラのピントを被写体に合わせる
３）被写体を取り除く
４）ピントを保持したまま撮影
被写体
a
カメラ
テストパターンの撮影システム
デジタルカメラ
フィルムカメラ
エッジのウェーブレット変換値の
比から補正係数 Rjを得る
ウェーブレット変換の3スケールの振幅比Rj
Rj =
W
W
F
j
D
j
180
160
R3
W1
W2
W3
R2
140
120
R1
100
80
60
40
20
ピントを合わせた
0
被写体では、ス
-20
ケール１（W1)の
振幅が大きい
デジタルカメラによ
る背景のウェーブ
D
レット変換
j
W
フィルムカメラによ
る背景のウェーブ
F
レット変換
j
W
距離補正係数 の導出
Rj 設定時の距離a, a と、実際の撮影時の距離ar, ar が異なる
ため、制御係数の補正を行う必要がある。
Back
Object
e (e r )
a (a r )
a ' ( ar ' )
(a'-a) f
Rj設定時のぼけ e =
D
(a - f )a'
b (br )
b ' (br ' )
(ar '-ar ) f
撮影時のぼけ er =
D
(ar - f )ar '
a ' (a - f )
a r '- a r
e
r
.
b = e =
a '- a
(ar - f )ar '
制御係数 Ｃｊ の計算
aｒ
a
被写体
a
aｒ
Rj 設定時のデジタルカメラ画像
a=200, a =400mm
デジタルカメラの撮影画像
ar=150, ar =400mm
撮影距離a, a ,とar, ar より
距離補正係数 を算出
Cj=Rj
より制御係数を得る
C0=0.584
C1=0.765
C2=1.156
制御係数Cj=Rj の計算による結果画像
デジタルカメラ
出力画像
フィルムカメラ
入力画像のウェーブレット変換に制御係数 Ｃｊ を乗じて逆変換す
ることにより、想定したフィルムカメラと同等の被写界深度を持つ
画像が得られた。
現在（特許出願後）の開発状況
フィルムカメラと同等の被写界深度を自動的に得る方法について
テストパターンの撮影を行わず、机上計算からRj を導出できるようにアル
ゴリズムを改善した。
デジタルカメラ画像
出力画像
フィルムカメラ画像
想定される用途
デジタルカメラの組み込みファームウェア
オートフォーカス用の多点測距機能を利用
被写体と背景の距離情報ar, ar が得られるので
制御係数の自動計算が可能
パソコン用アプリケーションソフトウェア
ユーザーが自由に被写界深度を調節できるＧＵＩ
プロバイダーによる、携帯画像の被写界深度
調整サービス
何種類かの被写界深度画像を一度にユーザーに提供
今後の課題～実用化に向けて
カラーＲＧＢ画像に対応したウェーブレット変換
（研究室が主体）
高画素画像に対応したウェーブレット変換
（研究室が主体）
ＰＣ用ユーザーインターフェイスの開発
(企業が主体）
小型デジタルカメラ用ファームウェアの検討
(企業が主体）
企業＆研究室による共同開発
研究室
これまでの成果
及びシーズ提供
開発した基本プロ
グラムの提供
企業
実用化・ビジネス化
開発成果の
共有
アプリケーション
プログラム開発
本技術に関する知的財産権
• 発明の名称 ： 被写界深度制御方法、画像処理装置及び
プログラムと記憶媒体
• 出願番号
： 特願２００７－０８４６３０
• 出願人
： 独立行政法人国立高等専門学校機構
• 発明者
： 岡崎秀俊
お問い合せ先
加治哲徳
徳山高専／テクノ・リフレッシュ教育センター
文部科学省産学官連携コーディネーター
E-mail : [email protected]
TEL(携帯)：090-7504-3851
〒745-8585山口県周南市学園台