No.9 - Advanced Multimedia Systems Lab.

by user

on 28 марта 2017

Category: Documents

>> Downloads: 3

views

Report

Comments

Description

Download No.9 - Advanced Multimedia Systems Lab.

Transcript

No.9 - Advanced Multimedia Systems Lab.

2012/4/2
- No.9 ディジタル映像音響情報処理2 -
Basic of Digital Content Technology
- No.9 Audio/Visual Information Processing 2 -
渡辺裕
Hiroshi Watanabe
ディジタルコンテンツ技術の基礎
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Analog and Digital
Representations
アナログ表現とディジタル表現

A/D変換
サンプリング定理
エリアジング雑音
解像度変換とディジタルフィルタ
音声信号方式
音響符号化
マルチメディアアプリケーション

ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
A/D Conversion
Sampling Theory
Aliasing Noise
Resolution Conversion and Digital Filter
Audio Signal Formats
Audio Coding
Multimedia Application
3
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

アナログ信号からディジタル信号へ
プレフィルタ処理：高周波成分の除去
標本化：時間軸における離散化
量子化：レベル値の有限n進数への変換

アナログ
信号
ディジタル
信号
プレフィルタ
標本化
4
A/D Conversion
A/D 変換

2
量子化
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Analog Signal to Digital Signal
Pre-filtering: Cut High Frequency Component
Sampling: Discrete in Time Domain
Quantization: Convert Value to Finite Digits
Analog
Signal
5
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PreFiltering
Sampling
Quantization
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Digital
Signal
6
1
2012/4/2
A/D Conversion (2)
A/D変換 (2)

アナログからディジタルへの変換
連続信号から離散信号へ
前処理，標本化，量子化
パルス振幅変調 (PAM)
パルス符号変調 (PCM)

Analog to Digital Conversion
Continuous Signal to Discrete Signal
Pre-Processing, Sampling, Quantization
Pulse Amplitude Modulation (PAM)
Pulse Code Modulation (PCM)
7
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Processing Diagram
処理ダイヤグラム
出力信号
入力信号
前処理
標本化
Input Signal
Output Signal
PrePreProcessing
量子化
9
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PCM

2
3
4
5
6
7
8
9 10 11
Time
離散化・量子化信号
Digitized Samples
Quantizatio
on
Level
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
7
Restored Signal
Digitized, Quantized Signal
Input Signal
8
9
10 11
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
Time
Time
Restored Signal
Input Signal
Quantization Le
evel
Restored Signal
Input Signal
Quantization Le
evel
Quantizatio
on
Level
1
Unique Code Assignment to PAM Data
Restored Signal
Digitized, Quantized Signal
8
7
6
5
4
3
2
1
0
10
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PAMデータへのユニーク符号の割り当て
Digitized Samples
QuantiQuantization
Sampling
PCM

8
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
7
8
9 10 11
Input Signal
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
7
8
9
10 11
Time
再生信号
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
11
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
12
2
2012/4/2
Binary and Decimal Numbers
2進数と10進数

２進数表現
bnbn −1 Lb1b0 . b−1b− 2 L b−m 2 =
=
bn 2 n + bn −1 2 n −1 + L + b1 2 1 + b0 2 0
+ b−1 2 −1 + L + b− m 2 − m
bnbn −1 Lb1b0 . b−1b− 2 L b−m 2 =
10
⎧0
, bi = ⎨
⎩1
n
∑ bi 2i
i=− m

Binary Representation
10
=

13
Code
0, 1
00, 01, 10, 11
000, 001, 010, 011, 100, 101, 110, 111
n
00…0, …

Quant ization Level
Quantized Signal
8
7
6
5
4
3
2
1
0
4
5
Bit
1
2
3
Code
0, 1
00, 01, 10, 11
000, 001, 010, 011, 100, 101,
110, 111
…
2n
n
00…0, …
16
Assignment of PCM Code
Quantized Signal
3
Level＃s
2
4
8
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
PCM符号の割り当て
2
Level and Bit Numbers
15
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1
14
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

Bit
1
2
3
Codeword
000
001
010
011
100
101
110
111
10
Binary Code
レベル数とビット数
Level
0
1
2
3
4
5
6
7
∑ bi 2i
Example
2進符号

10
⎧0
, bi = ⎨
⎩1
n
10110 = 2 4 + 2 2 + 21 = 16 + 4 + 2 = 22
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Level数
2
4
8
…
2n
+ b−1 2 −1 + L + b− m 2 − m
i=− m
例
10110 = 2 4 + 2 2 + 21 = 16 + 4 + 2 = 22

bn 2 n + bn −1 2 n −1 + L + b1 2 1 + b0 2 0
6
7
8
9
10 11
Time
時刻:
1
2
3
4
5
6
7
8
9 10 11
レベル: 7
7
6
5
3
3
4
4
1
3
7
符号: 111 111 110 101 011 011 100 100 001 011 111 / 33 bit
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Level
0
1
2
3
4
5
6
7
Codeword
000
001
010
011
100
101
110
111
Quantized Signal
Quantized Signal
Quant ization Level

8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
7
8
9
10 11
Time
Time: 1
2
3
4
5
6
7
8
9 10 11
Level: 7
7
6
5
3
3
4
4
1
3
7
Code: 111 111 110 101 011 011 100 100 001 011 111 / 33 bit
17
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
18
3
2012/4/2
Basic Data Compression –
Reducing Number of Quantization Levels
－量子化レベル数の
削減
Codeword
00
01
10
11

Compression by Reducing Q-Levels
Digitized Samples
Quantiization Lavel
Level
0
1
2
3

Input Signal
4
3
2
Level
0
1
2
3
Codeword
00
01
10
11
Compression by Reducing Q-Levels
Digitized Samples
Quantiization Lavel
基本的なデータ圧縮
1
0
1
2
3
4
5
6
7
8
3
2
1
0
9 10 11
1
2
3
4
5
Time
3
3
11
4
2
10
5
1
01
6
1
01
7
2
10
8
1
10
9 10 11
0
1
3
00 10 11 / 22bit
19
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
基本的なデータ圧縮
Codeword
000
001
010
011
100
101
110
111
2

Input Signal
3
4
5
6
Time
時刻:
1
2
3
4
5
6
レベル: 7
6
3
4
1
7
符号: 111 110 011 100 001 111 / 18 bit
Level
0
1
2
3
4
5
6
7
21
2
3
4
Volttage
4
2
10
5
1
01
6
1
01
7
2
10
8
1
10
9 10 11
0
1
3
00 10 11 / 22bit
20
Codeword
000
001
010
011
100
101
110
111
Compresson by Reducing Sampling
Frequency
Digitized Samples
Input Signal
8
7
6
5
4
3
2
1
0
1
2
3
4
5
6
Time
22
Quantitative Analysis
Analog signal
2.5
2
1.5
1
0 5
0.5
0
-0.5 1
-1
-1.5
3
3
11
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
定量的解析
アナログ信号値
2.12
1.80
1.30
1.00
-0.50
-0.12
0 12
0.42
-0.02
-1.17
-0.08
1.84
2
3
11
Time:
1
2
3
4
5
6
Level:
7
6
3
4
1
7
Code: 111 110 011 100 001 111 / 18 bit
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
時刻
0
1
2
3
4
5
6
7
8
9
10
9 10 11
Reducing Number of Samples
8
7
6
5
4
3
2
1
0
1
8
Basic Data Compression –
Compresson by Reducing Sampling
Frequency
Digitized Samples
7
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
－標本点数の削減
Quan
ntization
L Evel
Level
0
1
2
3
4
5
6
7

Time:
1
Level: 3
Code: 11
Quan
ntization
L Evel
2
3
11
6
Time
5
6
7
8
9
10 11
Time
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Time Analogue signal Value
0
2.12
1
1.80
2
1.30
3
1.00
4
-0.50
5
-0.12
0 12
6
0.42
7
-0.02
8
-1.17
9
-0.08
10
1.84
23
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Analog signal
Voltag
ge
時刻:
1
レベル: 3
符号: 11
Input Signal
4
2.5
2
1.5
1
0.5
0
-0.5 1
-1
-1.5
2
3
4
5
6
7
8
9
10 11
Time
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
24
4
2012/4/2
Quantitative Analysis (2)
定量的解析 (2)

量子化ステップ d の算出
d = 2V
V：入力電圧の最大値
L：量子化レベル数
L
L = 2n

Calculation of Quantization step d
d = 2V
L = 2n

例
When V=2.2, n=4, L equals to 16, thus,
d = 0.275
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
25
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
σ2q

Quantization Error Power：
d/2
d/2
(k )d
(k+1)d
kd
σ 2q =
27

入力信号の分散：
σ 2x
σx
σ
= 10 log 10
σq
σ
28
Quantitative Analysis (4)

量子化によるSNR(雑音対信号比）
SNR( dB ) = 20 log 10
2
1 d/2 2
1 ⎡1 ⎤
=d
x dx = ⎢ x 3 ⎥
12
d ∫− d / 2
d ⎣ 3 ⎦ −d / 2
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
定量的解析 (4)

d/2
d/2
2
1 d/2 2
1 ⎡1 ⎤
=d
x dx = ⎢ x 3 ⎥
12
d ∫− d / 2
d ⎣ 3 ⎦ −d / 2
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
σ2q
(k )d
(k+1)d
kd
d/2
σ 2q =
26
Quantitative Analysis (3)
定量的解析 (3)
d/2
n : number of bits for code
Example
d = 0.275
量子化誤差電力：
L
n : 符号のビット数
V=2.2, n=4 のとき L=16 であるから

V：Maximum value of input
L：number of quantization levels
2
x
2
q
SNR( dB ) = 20 log 10

(画像処理では最大値）
σx
σ2
= 10 log 10 2x
σq
σq
Variance of Input signal：
processing )
σ 2x ( maximum value for image
σ 2x = 4V 2
σ 2x = 4V 2
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
SNR (Signal to Noise Ratio) caused by Quantization
29
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
30
5
2012/4/2
Quantitative Analysis (5)
定量的解析 (5)

n ビット量子化時のSNRの算出
SNR( dB ) = 10 log 10
= 10 log 10
Calculation of SNR at n bit quantization
2
4V
d 2 12
SNR( dB ) = 10 log 10
4V 2
4V 2 12 L2
= 10 log 10
= 10 log 10 12 L2
= 10(log 10 3 + 2 log10 2 ) + 20 log 10 2
= 10.79 + 6.02 n
n
4V 2
d 2 12
4V 2
4V 2 12 L2
= 10 log 10 12 L2
log 10 2 ≅ 0.301
= 10(log 10 3 + 2 log10 2 ) + 20 log 10 2 n log 10 2 ≅ 0.301
log 10 3 ≅ 0.477
= 10.79 + 6.02 n
log 10 3 ≅ 0.477
1bit ６ｄBの法則
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Rule: 1bit ６ｄB
31
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Sampling
標本化

連続関数を一定時間間隔で標本化して得られる系列から元の連続
関数を復元することができるか？
ゆっくり変化する入力
粗い標本でも復元できそう

Can we recover original analog signal from sampled
digital data?
Slowly Changing Inputs
急激に変化する入力
Looks like recoverable
even with coarse sampling
細かな標本化が必要そう
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
32
33
Rapidly Changing Inputs
Looks like requesting fine
sampling
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
34
Sampling Theorem
サンプリング定理

サンプリング間隔と入力信号の最高周波数には重要な関係があり
そう

There is a significant relation between a sampling
period and the maximum frequency of an input signal

シャノンのサンプリング定理（ナイキストの定理）：
– 時間関数 x(t) の周波数成分が fm(Hz) 以下に制限されている
ときサンプリング間隔を 1/(2fm) 以下に制限すれば、得られた
とき、サンプリング間隔を
以下に制限すれば得られた
サンプル系列からもとの連続関数を完全に復元できる。

Shannon’s Sampling Theorem (Nyquist Theorem):
– “If the frequency component of an input signal x(t) is
less than fm (Hz),
(Hz) we can recover the original
continuous signal from sampled data by setting
sampling interval less than 1/(2fm)”

ナイキスト間隔： T=1/(2fm), ナイキスト周波数： 2fm

Nyquist Interval: T=1/(2fm), Nyquist Frequency:2fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
35
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
36
6
2012/4/2
Sampling Theorem (2)
サンプリング定理 (2)

帯域制限された場合のフーリエ変換対は次式で与えられる
∞
(1)
X ( f ) = ∫ x( t ) exp( − j 2 πft )dt
∞
x( t ) = ∫
− fm

X ( f ) exp( j 2 πft )df
0
(2)
x( t ) = ∫

∞
∑C
n = −∞
n
fm
X ( f ) exp( j 2 πft )df
− fm
X(f)をフーリエ級数展開すれば次式を得る
X( f ) =
⋅ exp( j 2 πfn /( 2 f m ) )
(3)
∞
∑C
X( f ) =
37
=

1
2 fm
∫
fm
− fm

X ( f ) ⋅ exp( − j 2πfn /( 2 f m )) df
⎛ n ⎞
⎟⎟
x⎜⎜ −
⎝ 2 fm ⎠
(3)
X(f)
Cn =
1
2 fm
∫
=
1
2 fm
⎛ n ⎞
⎟⎟
x⎜⎜ −
⎝ 2 fm ⎠

fm
− fm
X ( f ) ⋅ exp( − j 2πfn /( 2 f m )) df
(4)
X(f)
Shape of X(f)
f
-fm
0
fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
-fm
39
⎡ ∞ 1
x(t ) = ∫ ⎢ ∑
− fm
⎣n = −∞ 2 f m
≡
∞

⎤
⎛ n ⎞
⎟⎟ ⋅ exp( j 2πfn /( 2 f m ))⎥ ⋅ exp( j 2πft ) df
x⎜⎜ −
⎝ 2 fm ⎠
⎦
hn ( t ) = ∫
− fm
40
⎡ ∞ 1
⎢∑
⎣ n = −∞ 2 f m
⎤
⎛ n ⎞
⎟⎟ ⋅ exp( j 2πfn /( 2 f m ))⎥ ⋅ exp( j 2πft ) df
x⎜⎜ −
⎝ 2 fm ⎠
⎦
⎛ n ⎞
⎟⎟ hn (t )
⎝ m⎠
Where hn(t) is
≡
∞
∑ x⎜⎜ 2 f
n = −∞

⎛
1
n
exp⎜⎜ j 2 πf ( t −
2 fm
2 fm
⎝
fm
− fm
⎛ n ⎞
⎟⎟ hn (t )
⎝ m⎠
ここに、hn(t)は
fm
f
Substitute (3),(4) to (2), we obtain
x(t ) = ∫
∑ x⎜⎜ 2 f
n = −∞
fm
Sampling Theorem (4)
式(3),(4)を式(2)に代入すると、次式を得る
fm
0
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
サンプリング定理 (4)

38
Where Cn is written as follows
(4)
X(f)のスペクトル形状
⋅ exp( j 2 πfn /( 2 f m ) )
Sampling Theorem (3)
ここで、フーリエ級数の係数 Cn は以下のようになる
1
Cn =
2 fm
n
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
サンプリング定理 (3)

(2)
Fourier Series Expansion of X(f) can be written as
n = −∞
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
(1)
X ( f ) = ∫ x( t ) exp( − j 2 πft )dt
0
fm
Fourier Transform Pair with Limited Frequency
Bandwidth
n
sin 2 πf m ( t −
)
⎞
2 fm
) ⎟⎟df =
n
⎠
2πf m ( t −
)
2 fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
hn ( t ) = ∫
fm
− fm
41
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
⎛
1
n
exp⎜⎜ j 2 πf ( t −
2 fm
2 fm
⎝
n
sin 2 πf m ( t −
)
⎞
2 fm
) ⎟⎟df =
n
⎠
2πf m ( t −
)
2 fm
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
42
7
2012/4/2
Sampling Theorem (5)
サンプリング定理 (5)

得られた結果
⎛ n ⎞
x( t ) = ∑ x⎜⎜
⎟⎟ hn ( t )
n = −∞ ⎝ 2 f m ⎠
∞

x( t ) =
∞
∑x
n = −∞
n

sin 2 πf m ( t − nΔ t )
2 πf m ( t − nΔ t )
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
∞
⎛ n ⎞
⎟⎟ hn ( t )
⎝ m⎠
∑ x⎜⎜ 2 f
n = −∞
これはサンプリング間隔がΔt = 1/(2fm) に選ばれると、連続的な入
力信号 x(t)
( ) が離散的にサンプルされた信号（PAM信号）x
が離散的にサンプルされた信号（PAM信号） n と理想
的な低域通過型フィルタのインパルス応答hn(t)から再現できること
を示している。
x( t ) =
The obtained result
The result shows that the continuous input x(t) can be
recovered
d ffrom sampled
l d sequence (PAM signal)
i
l) xn and
d
the ideal low-pass filter’s impulse response hn(t) if the
sampling interval is chosen to Δt = 1/(2fm)
x( t ) =
n = −∞
43
sin 2 πf m ( t − nΔ t )
2 πf m ( t − nΔ t )
∞
∑x
n
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Example
例

コンパクトディクスに記録されたオーディオ信号
– １６ビットＰＣＭ
– *.wav ファイル（PC/WS)
– 再生周波数帯域: 0 - 22.05 kHz
– サンプリング周波数: 44.1 kHz
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Audio Recorded in Compact Disk
– 16bit PCM
– *.wav file in PC/WS
– Playback Frequency Range: 0 - 22.05 kHz
– Sampling Frequency: 44.1 kHz
45
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Bitmap file
RGB 24 bit
720x576 pels
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
46
Aliasing Noise
折り返し歪

Bitmap file
RGB 24 bit
720x576 pels
47
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
48
8
2012/4/2
Aliasing Noise (2)
折り返し歪 (2)

360x288 pels
without LPF
aliasing noise

ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
360x288 pels
without LPF
aliasing noise
49
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Aliasing Noise (3)
折り返し歪 (3)

360x288 pels
with LPF
2D-(1,2,1)
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

360x288 pels
with LPF
2D-(1,2,1)
51
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

N:1のサブサンプリングの際には，通過帯域π/Nの低域通過型フィルタ
(Low Pass Filter; LPF) を適用

For N:1 sub-sampling, Low Pass Filter (LPF) with pass-band
π/N

伝達関数のz変換表現

Z-transform representation of transfer function
N −1
N −1
H ( z ) = ∑ h( k ) z − k
H ( z ) = ∑ h( k ) z − k
k =0
k =0

例
H ( z) =
1 1 1 0 1 −1
z + z + z
4
2
4
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
52
Resolution Conversion and Digital
Filter
解像度変換とディジタルフィルタ

50
Example
H ( z) =
53
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1 1 1 0 1 −1
z + z + z
4
2
4
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
54
9
2012/4/2
LPF Cut-off Frequency
LPF遮断周波数

実際のローパスフィルタ特性と理想ローパスフィルタ特性
遮断周波数：ωL

H(jω)
パワー
Actual and ideal low-pass filter characteristics
cut-off frequency: ωL
pass
passband
通過帯域遮断帯域
1
1
stop
stopband
1
1
0.5
0
H(jω)
Power
0.5
ωL
π
2π
−2π −π −ωL 0 ωL π
周波数
2π
0
ωL
π
55
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
z-変換によるシステム記述

System description by z-transform
X(z)
Y(z)=H(z)X(z)
H(z)
x(0) x(1) x(2) …
h(0) h(1) … h(N-1)
x(0) x(1) x(2) …
y(0)y(1)y(2)y(3) …
57
1
2π
1
=
2π
h( k ) =
π
∫ π H ( jω )e
−
ωL
∫ω e
−
jkω

jkω
dω
h( 0 ) =
dω
ωL
π
1
2π
1
=
2π
h( k ) =
ωL
=
1 ⎡e ⎤
⎢
⎥
2π ⎣ jk ⎦ −ω
L
=
sin( kω L )
kπ
58
In general, coefficients for LPF is given by the following.
L
jkω
y(0)y(1)y(2)y(3) …
Derivation of Coefficients
一般にLPFの場合，係数は次式で計算できる
ωL
π
h(0) h(1) … h(N-1)
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
係数の算出
h( 0 ) =
Y(z)=H(z)X(z)
H(z)
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

56
FIR Filter
FIRフィルタ
X(z)
2π
frequency
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

−2π −π −ωL 0 ωL π
2π
( k = ±1, ± 2 ,L , ± ( N − 1 ))
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
59
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
π
∫ π H ( jω )e
−
ωL
∫ω e
−
jkω
jkω
dω
dω
L
jkω
ωL
=
1 ⎡e ⎤
⎢
⎥
2π ⎣ jk ⎦ −ω
L
=
sin( kω L )
kπ
( k = ±1, ± 2 ,L , ± ( N − 1 ))
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
60
10
2012/4/2
LPF Design
LPFの設計

遮断周波数 ωL=π/2 を7次のフィルタで構成する場合
h( 0 ) =

π 2
= 0.5
π
h( 0 ) =
sin( π 2 )
h( 1 ) = h( −1 ) =
Cut-off frequency ωL=π/2 , 7-th order filter
π
=
1
π
= 0.3185
h( 1 ) = h( −1 ) =
sin 2( π 2 )
=0
2π
sin 3( π 2 ) − 1
h( 3 ) = h( −3 ) =
=
= −0.1061
3π
3π

61
低ビットレート（<32kbps)
– LPC(線形予測符号化)ボコーダ
– マルチパス線形符号化
– CELP(符号励振線形予測)

中ビットレート(32kbps-64kbps)
– ADPCM(適応差分パルス符号変調)
– サブバンドADPCM

高ビットレート(>64kbps)
– サブバンド符号化
– ATC(適応変換符号化)＋心理聴覚重みづけビット割り当て
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1
π
= 0.3185
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

Analog telephone
– Speech bandwidth 4kHz -> If digitized, 8kHz
sampling
FM radio
– Bandwidth 15kHz -> If digitized, 30kHz sampling
A di CD
Audio
– Bandwidth 22.05kHz, 16bit -> 44.1 kHz sampling
DVD audio
– Bandwidth 192kHz、24bit (2 channel), 96kHz, 24bit
multi-channel stereo
63
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
64
Audio Coding
音響符号化

=
Audio Signal Formats
アナログ電話
– 音声帯域4kHz -> もしディジタル化すれば8kHz sampling
FMラジオ
– 周波数帯域15kHz -> もしディジタル化すれば30kHz
sampling
オデオCD
オーディオCD
– 周波数帯域22.05kHz, 16bit -> 44.1 kHz sampling
DVD オーディオ
– 周波数帯域192kHz, 24bit (2チャンネル時のみ), 96kHz,
24bitマルチチャンネルステレオ
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
π
h( 2 ) = h( −2 ) =
音声信号方式

sin( π 2 )
sin 2( π 2 )
=0
2π
sin 3( π 2 ) − 1
h( 3 ) = h( −3 ) =
=
= −0.1061
3π
3π
h( 2 ) = h( −2 ) =
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
π 2
= 0.5
π

Low bitrate (<32kbps)
– LPC(Linear Predictive Coding) Vocoder
– Multipass Linear Predictive Coding
– CELP(Code Exited Linear Prediction)

Middle bitrate (32kbps
(32kbps-64kbps)
64kbps)
– ADPCM(Adaptive Differential Pulse Coded Modulation)
– Subband ADPCM

High bitrate (>64kbps)
– Subband Coding
– MDCT(Modified DCT)＋Psyco-acoustic weighted bit
allocation
65
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
66
11
2012/4/2
Standard
符号化標準

規格とアルゴリズム
Standard and Algorithm
時期
名称
ビットレート
アルゴリズム
Year
Name
Bitrate
1972
CCITT G.711
64 kbps
非線形量子化
1972
CCITT G.711
64 kbps
1984
CCITT G.721
32 kbps
ADPCM
Non-linear
Quantization
1986
CCITT G.722
p
64 kbps
サブバンドADPCM
サ
ンド
1984
CCITT G.721
32 kbps
ADPCM
1991
CCITT G.728
16 kbps
低遅延CELP符号化
1993
ISO MPEG
32k-224kbps
サブバンド+MDCT
1997
ISO MPEG AAC
32k-128kbps
MDCT+ステレオ処理
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
1986
CCITT G.722
64 kbps
Subband-ADPCM
1991
CCITT G.728
16 kbps
Low-delay CELP
1993
ISO MPEG
32k-224kbps
Subband+MDCT
1997
ISO MPEG AAC
32k-128kbps
MDCT+Stereo
67
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
G.721 G.711
0 16 32
64
128
Signal Bandwidth (KHz)
AM-radio
G.722
224
Phone
7
G.728
4
Audio-CD
D
MPEG1 Layer3
FM-radio
信号帯域 (KHz)
電話
AMラジオ
FMラジオ
Audio-CD
D
MPEG AAC
15
22
MPEG AAC
MPEG1 Layer3
15
7
G.728
4
G.722
G.721 G.711
0 16 32
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
69

FFT
線形
量子化
心理聴覚
モデル
エントロピー
符号化
224
70
MPEG Audio Coding Scheme
符号化器の構成
サブバンド
分析
128
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
MPEG Audio 基本構成
オーディオ
入力
64
Bitrate (kbps/channel)
ビットレート(kbps/チャネル)

68
Target Signal
対象信号
22
Algorithm
Encoder Structure
Audio
Input
ビットストリーム
出力
動的ビット
割り当て
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Subband
Analysis
FFT
71
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Linear
Quantizer
Psyco-acou
stic Model
Entropy
Coding
Bitstream
Output
Dynamic
Bit Allocation
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
72
12
2012/4/2
Psyco-acoustic Analysis
心理聴覚分析

FFTによる周波数分析
– 純音成分の抽出(>7db)
• 突出したスペクトルパワーに周囲のパワーを代表させる
– マスキング
• 純音部分と非純音部分で異なる
• 高域成分を粗くサブサンプリング

サブバンド分析
– 入力開始点に対して適応的に窓長を変える
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

Spectrum Analysis by FFT
– Extract pure tone(>7db)
• Isolated high spectrum represent lower
neighborhood spectrum
– Masking
• Different
Diff
t masking
ki
applied
li d tto pure and
d non-pure
tone
• Rough sub-sampling is applied to high frequency
component

Analysis window
– Adaptive to a starting point of input
73
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Compression Technology

Multimedia over the Internet
Data File: ZIP, LZH
Speech/Audio: G.723, GSM, MP3, AAC
Graphics: GIF, PNG
Still Image: JPEG/JPEG2000
Communication: H.261, H.263, H.264
Generic Video: MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

Speech/Audio
Still Image/Video
Graphical Operation
Synchronization
Psuedo-3D Representation
3D Video
75
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Speech/Audio Application

76
Speech/Audio Format
Media Player
– Windows Media Player
• Microsoft
– Real Player
• Real Communications
– DivX Player
• DivX Inc.

IP
–
–
–

phone
Skype (Microsoft)
Fusion Communications
Cisco Unified IP Phone
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
74
WAV
– PCM 16 bit, 44.1 KHz sampling
MP3
– MPEG-1 Layer 3
– iPod, Podcasting, car audio
AAC
– Advanced Audio Coding (MPEG-4 Audio)
– iPod
WMA
– Microsoft windows media audio
77
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
78
13
2012/4/2
Still Image/Video Application (1)

Distribution
– Image/Video on the Web page
– Photo Album
• Flickr
• Picasa
– Video streaming
• YouTube
Communication
– Videophone
• Skype
– Videoconferencing
• H．26X based tools
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Still Image/Video Application (2)

Digital Storage Media
– DVD
– Blu-ray
– Video CD
– Web Application

Broadcasting
– Digital Television (Terrestrial, Satellite)
– HDTV
– Mobile

Digital Cinema
79
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Still Image/Video Format (1)

Still Image/Video Format (2)
BMP
– PCM 8bit *RGB
JBIG
– Binary Image, FAX, Copying machine
– Prediction, Arithmetic Coding
JPEG
– Natural Image, Digital Camera, Web Image
– DCT, Lossy, Lossless
JPEG2000
– Natural Image, Digital Cinema
– Wavelet
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

H.261
– Videophone, Conferencing
– Motion Compensated Interframe Prediction + DCT +
Huffman Coding
H.263
p
Prediction
– Improved
H.264
– Improved Prediction, R-D optimization, Arithmetic
Coding
MPEG-1
– Video CD, Web application
– Motion Compensated Interframe Prediction + DCT +
Huffman Coding
81
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Still Image/Video Format (3)

82
Graphical Operation
MPEG-2
– Digital Television, DVD, HDTV
– Interlaced Video
– Motion Compensated Interframe Prediction + DCT +
Huffman Coding
MPEG-4
– Video Creation
– Object Based Audio Visual Coding
– MC+DCT Video, Animation, 3D shape by Wavelet
MPEG-4 AVC (Advanced Video Coding)
– Mobile Video, HDTV
– Improved Prediction, R-D optimization, Arithmetic
Coding
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
80

Java
– Programming language
– Sun Microsystems
– C, C++, Java Script

Flash Player
– Macromedia -> Adobe
83
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
84
14
2012/4/2
Synchronization

Psuedo-3D Representation
SMIL
– The World Wide Web Consortium (W3C)
Recommendation
– Audio Video Synchronization, size control, transition
control

VRML
– Virtual Reality Modeling Language
– Web3D consortium, ISO/IEC JTC1/SC24

X3D
– integrated 3D graphics and multimedia framework
– Web3D consortium, ISO/IEC JTC1/SC24

MPEG-4 system
– VRML+
– BIFS (Binary Format for Scene)
W3C: a forum for information, commerce, communication, and collective understanding
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
85
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Multimedia Services and
Applications
3D Video

MPEG 3D AV coding
– Multi-view coding
• Extension of AVC
– Ray space representation

ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Browser
Network Assisted Audio Distribution
Still Image Album, Video Album
Telephone/Videophone on the Internet
SNS
87
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Browser

88
Tab Browser in Japan
Internet Explorer
– Internet Explorer 7 includes tab browser, RSS
reader, search engine bar. (RSS: RDF Site Summary)
Firefox (Mozilla)
– Open source web browser developed by Mozilla
Foundation Versions for Windows
Foundation.
Windows, Linux,
Linux Mac OS X
are all free.
Safari
– Developed by Apple Inc. Standard in Mac OS X.
Netscape
– Netscape Communications developed based on the
newest code provided by Mozilla project.
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
86

Sleipnir
– Free software, one of Japanese high class browser
by Fenrir & Co.
Grani
– Browser for beginners based on Sleipnir.
L
Lunascape
– Free tab browser developed by Graduate student of
Waseda Univ. (Hidekazu Kondo) using IE
component.
89
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
90
15
2012/4/2
New Browser

Network Assisted Audio Distribution
Chrome
– Provided by Google
– Free
– Open Source
– Multi-process, tough against freeze
– Search engine and URL are unified
– Consume large memory area
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology

91
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Network Assisted Audio Distribution
(cond.)

–

Online store
•
•
•
–
–
–
Napster
Mora (Japan)
HMV Digital
Combined with YouTube
–
Entertainment Office
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
93
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
Flickr (Yahoo)

YouTube (Google)
– Founded in Feb. 2005
– Personal broadcasting video
– Noisy On2 technology (plug in) to MPEG-4 AVC
– Key word based tag
– Most recent, most viewed …
– Active sharing
– Play list
– Videos/Categories/Channels/Groups

Deep zoom (Microsoft)
– Hardrock cafe
Flickr account necessary
Key word based tag
Display order by most relevant, recent, interesting ...
Search photos, groups, people
Picasa (Google)
–
–
Google account necessary
Photo sharing by friends
Google image
–
–
–
Simple image search engine
Key word based
Map/Street view
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
94
Still Image Album, Video Album
(contd.)
Still Image Album, Video Album

Music: Rapsody online
Movie: Film.com
Game: Real Arcade
Video clip
HD
–
–
–
–
–
Real Player
Windows Media Video
•
•

92
Network Assisted Audio Distribution
(cond.)
Windows Media Player
–
iTunes
– Music Store
• Network based music distribution
– iPod
• Personal music player, music can be copied from
audio
di CD
– Label Information
• TOC: Table of Content
• Length of music
• Music title, singer, album name, file type
– Backup
• Personal responsibility
95
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
96
16
2012/4/2
SNS
Telephone/Videophone on the Internet

Skype
– P2P free phone system
– Free video call
– Messaging
– Payment for connections to public phone

Mixi
–
–
–
Joost (Skype Comm.)
– Full screen, High quality Internet TV
– P2P streaming technology
– IPR protection

MySpace

Second Life
–
–
–
–
–
–
Fusion Communications
Started by E-Mercury in Japan
10 million users
Diary, Friends, Community…
California, USA
160 million accounts
Personal profile, favorite music, Forum …
Virtual life operated by Linden Lab. USA
7 million accounts
Online game, virtual money
»
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
97
SNS: Social Networking Service
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
98
More …

BLOG

AdSense

SaaS

Trackback
–
–
–
–
–
–
–
–
–
Web-log
Diary on the Internet
Tools: blogger, Movable Type
Unnecessary HTML knowledge
Affiliate program
Advertisement on Web site by Google
Software as Service
Monthly rental software
Track back to linked source
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
99
ディジタルコンテンツ技術の基礎 / Basics of Digital Content Technology
17