JPEG XRとそのデジカメへの適用 - Hi-HO

2012年
2012年7月6日(金)
JPEG XRとそのデジカメへの適用
XRとそのデジカメへの適用
株式会社シキノハイテック
小高 巳季彦
佐藤 純一
1
<目次>
目次>
１．JPEG
１．JPEG XRとは
XRとは
２．デジタルスチルカメラのトレンド
３．デジタルスチルカメラへのJPEG
３．デジタルスチルカメラへのJPEG XRの適用
XRの適用
４．今後の課題と展望
５．シキノハイテックJPEG
５．シキノハイテックJPEG XRハード
XRハードIP
ハードIP紹介
IP紹介
2
１．JPEG
１．JPEG XRとは
XRとは
①JPEG XRの規格策定の経緯
XRの規格策定の経緯
・静止画像符号化国際標準フォーマットの1
・静止画像符号化国際標準フォーマットの1つ
・マイクロソフト社が
マイクロソフト社が2006
社が2006年に開発した
2006年に開発したHD
年に開発したHD Photoがベース
Photoがベース
Part
ISO/IEC
項目
国際標準化(IS)
国際標準化(IS)状況
(IS)状況
Part1
2919929199-1
システムアー
キテクチャ
TR発行
TR発行(2011
発行(2011(2011-7-15)
Part2
2919929199-2
画像符号化
仕様
IS第
IS第3版発行(2012
発行(2012(2012-0303-15)
Part3
2919929199-3
モーション
JPEG XR
IS発行
IS発行(2010
発行(2010(2010-1010-15)
Part4
2919929199-4
適合性試験
IS発行
IS発行(2010
発行(2010(2010-0808-01)
テスト用ストリーム追加検討中
Part5
2919929199-5
リファレンス
ソフトウェア
IS第
IS第2版発行(2012
版発行(2012(2012-0303-15)
3
②JPEG XR 圧縮処理フロー
ブロック
ノイズ除去
に効果的
RGB→
RGB→YUV
CMYK→
CMYK→YUVK
(スキップ)
スキップ)
画像
色空間
変換
ブロック
ノイズ除去
に効果的
アダマール変換)
(アダマール変換)
外部
オーバー
ラップ処理
(スキップ)
スキップ)
(アダマール変換)
アダマール変換)
内部
オーバー
ラップ処理
外部
周波数変換
高周波成分処理
内部
周波数変換
低周波成分処理
高能率符号化
(jxr or wdp)
wdp)
(ハーモニック量子化)
ハーモニック量子化)
量子化
適応
係数予測
適応的に
上予測/
上予測/左予測
を選択
適応係数
スキャン
適応可変長
符号化
適応的に
スキャン順
を選択
適応的に
可変長テーブル
を選択
符号
4
③JPEG、
JPEG、JPEG2000との比較
JPEG2000との比較
画質
(相対評価)
相対評価)
入力画像
(bit数
(bit数)
回路規模
(相対評価)
相対評価)
可逆圧縮
JPEG XR
○
8～32
△
対応
JPEG2000
○
8～12
×
対応
JPEG
△
8※1
○
非対応※2
※1: 拡張仕様にて
拡張仕様にて12bit
12bit対応可
12bit対応可
※2: 拡張仕様にて可逆圧縮対応可
<JPEG XRの特徴
XRの特徴>
の特徴>
・高画質での圧縮が可能
・高ダイナミックレンジ(8
・高ダイナミックレンジ(8ビット以上の画素階調
(8ビット以上の画素階調)
ビット以上の画素階調)
・周波数成分(DC/LP/HP)
・周波数成分(DC/LP/HP)のスケーラビリティ
(DC/LP/HP)のスケーラビリティ
・Windows7
Windows7標準対応
・帯域毎、マクロブロック単位での量子化設定
5
２．デジタルスチルカメラのトレンド
①デジタルスチルカメラ製品
コンデジ
・コンパクトデジタルカメラ
（コンデジ）
・ミラーレス
・一眼デジタルカメラ
ミラーレス
一眼デジタル
6M
9M
12M
36M
有効画素数
メーカー
製品名
画素数
(万画素)
万画素)
フレーム数
(枚/秒)
CANON
EOS 5D Mark Ⅲ
約2,230
６
Nikon
D3200
約2,400
４
Panasonic
LUMIX GX1
約1,600
600
4.2
FUJIFILM
X-Pro1
約1,630
６
SONY
SLTSLT-A77VQ
約2,430
１２
※各カメラメーカーHP
各カメラメーカーHPより抜粋
HPより抜粋(2012
より抜粋(2012年
(2012年6月23日現在）
23日現在）
6
②CMOSセンサの高階調化
CMOSセンサの高階調化
より滑らかなグラディエーションの表現
後段での画像処理の適用
③CMOSセンサの
CMOSセンサのWDR(
センサのWDR(ワイドダイナミックレンジ
WDR(ワイドダイナミックレンジ)
ワイドダイナミックレンジ)化
逆光や明暗が入り混じった撮影画像の黒つぶれ、
白とびを抑制
CMOSセンサ出力の多ビット化
CMOSセンサ出力の多ビット化
10bit
10bit → 12～
12～14bit
7
３.デジタルスチルカメラへのJPEG
デジタルスチルカメラへのJPEG XRの適用
XRの適用
① CMOSセンサの高階調化
CMOSセンサの高階調化
・人間の認識力(1024
・人間の認識力(1024階調
(1024階調:10bit
階調:10bit)
:10bit)への対応
フルカラー(
フルカラー(約1677万色：
1677万色：RGB
万色：RGB各
RGB各8bit)から
8bit)から
約10億
10億6433万色
6433万色(RGB
万色(RGB各各
(RGB各各10bit)
各各10bit) への要求
・WDR(ワイドダイナミックレンジ
WDR(ワイドダイナミックレンジ)
ワイドダイナミックレンジ)センサの登場(
センサの登場(10 → 12～
12～14bit)
多ビットディスプレイの登場
撮像画像の「白とび」「黒つぶれ」を低減
画素階調
8bit
Bit深度
Bit深度(XR
深度(XR勧告
(XR勧告)
勧告)
ピクセルフォーマット
8bit
24bppRGB 等
10bit
10bit
32bppBGR101010
12bit/14bit/16bit
16bit
48bppRGB 等
8
②画像処理への応用
後処理により撮影画像を見やすくしたり、より自然な
表現とする。
黒くつぶれて、
画像が判別できない。
ディジタル標準画像(JIS
ディジタル標準画像(JIS X 9204: 2004 N4 画像より引用）
標準画像の輝度分布
9
◇輝度補正
撮影画像の輝度を補正し、輝度分布を平滑化する。
輝度の低い暗い部分
の範囲が広がり、暗部
の特徴が明確になる。
輝度の中央値を輝度
の低い所までもって
いく。
中央値
輝度の上限値を下
げ、画像全体を明
るく調整する。
上限値
10
◇輝度補正例(16bit
◇輝度補正例(16bit階調画像
(16bit階調画像)
階調画像)
補正後の輝度分布も連続しており、
滑らかな階調となっている。
暗部の特徴
が明確化
ディジタル標準画像(JIS
ディジタル標準画像(JIS X 9204: 2004 N4 画像より引用）
暗部の輝度
分布が連続
11
◇輝度補正例(8bit
◇輝度補正例(8bit階調画像
(8bit階調画像)
階調画像)
補正後の輝度分布が離散的であり、
滑らかな階調が表現できていない。
暗部の特徴
が明確化
ディジタル標準画像(JIS
ディジタル標準画像(JIS X 9204: 2004 N4 画像より引用）
暗部の輝度
分布が離散的
12
◇輝度補正後の画像比較
16bit階調画像
16bit階調画像
画素階調の変化が滑らかでない。
8bit階調画像
8bit階調画像
ディジタル標準画像(JIS
ディジタル標準画像(JIS X 9204: 2004 N4 画像より引用）
13
③可逆圧縮
撮影画像情報をオリジナルのまま保存する時に使用
サンプル画像1
サンプル画像1
サンプル画像2
サンプル画像2
サンプル画像1
サンプル画像1：921,600byte → 362,384byte 圧縮率 約39%
サンプル画像2
サンプル画像2：921,600byte → 419,897byte 圧縮率 約46%
画像により差異はあるが、約40
画像により差異はあるが、約40～
40～50%への圧縮が可能である。
50%への圧縮が可能である。
14
④高圧縮率
JPEG XRと
XRとJPEGの圧縮画像の比較
JPEGの圧縮画像の比較
原画を1/100
原画を1/100程度に圧縮し、劣化を比較
1/100程度に圧縮し、劣化を比較
原画
JPEG XR
JPEGに比べ
に比べ
JPEG XRでは
では
画像の劣化が目立たない。
JPEG
15
４.今後の課題と展望
①JPEG XR規格の普及
XR規格の普及
・Windows7や他の
Windows7や他のViewer
や他のViewerでサポートされている。
Viewerでサポートされている。
・デジカメや携帯電話での普及が未。
→デジカメでのサポートが望まれる。
・フォトレタッチソフトのJPEG
・フォトレタッチソフトのJPEG XRへの対応が重要。
XRへの対応が重要。
→ Adobe社の
Adobe社のPhotoshop
社のPhotoshopへのサポートが望まれる。
Photoshopへのサポートが望まれる。
②連写・動画機能への対応
・JPEG XRは、従来の
XRは、従来のJPEG
は、従来のJPEGと比較すると処理が重い。
JPEGと比較すると処理が重い。
・現状のハードIP
・現状のハードIPでも連写性能に欠ける。
IPでも連写性能に欠ける。
→ハードIP
→ハードIPの処理能力向上が必要。
IPの処理能力向上が必要。
③今後の展望
・デジカメへのJPEG
・デジカメへのJPEG XR採用の動きあり。
XR採用の動きあり。
16
５.シキノハイテックJPEG
シキノハイテックJPEG XRハード
XRハードIP
ハードIP紹介
IP紹介
①KJNKJN-X1+仕様
X1+仕様
仕様項目
処理方式
処理能力
ビット深度
ビット深度
フォーマット
内容
ISO/IEC29199ISO/IEC29199
-2準拠
2.0data@CLK
2.0data@CLK周波数
data@CLK周波数
1bit/5bit/8bit/10bit/
12bit※1/14bit※1/16bit
YONLY/YUV420/YUV422/YUV444/YUVK/
CMYK/RGB/NCMYK/RGB/N-COMPONENT(N=3 or 4)
画像サイズ
最大655
最大65520
65520(W)
20(W)×
(W)×65520(H)
タイル数
1タイル処理
圧縮方式
Lossy / Lossless
画像入出力方式
ブロックインターリーブ方式
勧告上ピクセルフォーマットが存在しないため16bit
16bit深度の
16bit深度の
※1 勧告上ピクセルフォーマットが存在しないため
ピクセルフォーマットを使用する。
17
②開発状況
KJNKJN-X1：
X1：FPGAによる動
PGAによる動作検証
による動作検証を
作検証を実施済
Performance (data/clk)
③開発ロードマップ
4.0
処理能力：4.0data/clk
4.0data/clk
KJNKJN
-X2
省回路化
2.0
KJNKJN
-X1
KJNKJN
-X1+
処理能力：2.0
2.0data/clk
data/clk
2.0
2011/4
2012/Q
Q4
2012/
2013
2013/Q4
※データレートは、RGB
データレートは、RGB入力
RGB入力入力-YUV422変換フォーマットによる換算
YUV422変換フォーマットによる換算
18
④KJNKJN-X1⇒
X1⇒KJNKJN-X1+へのバージョンアップ
X1+へのバージョンアップ
JPEG XR Part2 3rd Editionでの変更に対応
Editionでの変更に対応
RED_BLUE_NOT_SWAPPED_FLAG追加
RED_BLUE_NOT_SWAPPED_FLAG追加(
X1+で対応)
追加(X1+で対応
で対応)
SubsequentBytes
SubsequentBytes定義明確化
定義明確化(X1+
定義明確化(X1+で変更対応）
(X1+で変更対応）
NOFLEXBITS
NOFLEXBITSの不足処理の追加
の不足処理の追加(X1
の不足処理の追加(X1で対応済）
(X1で対応済）
画像変数の初期化の不足分追加(X1
(X1で対応済）
画像変数の初期化の不足分追加
(X1で対応済）
TILE_STARTCODEの定義明確化
の定義明確化(X1
TILE_STARTCODE
の定義明確化(X1で対応済）
(X1で対応済）
回路量削減
リリース：2012/Q
リリース：2012/Q4
2012/Q4
19
参考資料
・JPEG XR Part2 3rd3rd-Edition 勧告書
・ディジタル標準画像(JIS
・ディジタル標準画像(JIS X 9204:
9204: 2004 N4 画像）
画像）
・各カメラメーカーHP
カメラメーカーHP (2012年
(2012年6月23日
23日現在）
画像処理ソフト
Adobe社
Adobe社 Photoshop 6.
6.0
株式会社シ
株式会社シキノ
社シキノハイテック
キノハイテック デバイス事業本部
イス事業本部
第二技術部IP
小高 巳季彦
第二技術部IP開発
IP開発課
開発課
E-mail
ail kotak
otaka.mi
.mikihik
ihiko13@
o13@shik
shikino.c
ino.co
.co.jp
.jp
技術サポートグループ
技術サポートグループ 佐藤 純一
E-mail
ail sato.ju
sato.juni
.junic
nichi@
hi@shik
shikino.c
ino.co
.co.jp
.jp
JPEG XR Part2 3rd3rd-Edition CoCo-Editor
JPEG XR Part5 2nd2nd-Edition CoCo-Editor
20