こちら

情報理論演習（第７回：2016 年 6 月 3 日）
中間テスト
学籍番号：
氏 名：
試験開始の合図があるまで，以下の注意をよく読みなさい．合図があるまで次のページを開い
てはいけません．
• まず，上の欄に学籍番号と氏名を書きなさい．
• 試験開始の合図があったら，まず問１から問５までが印刷されていることを確認すること．
その後に解答を始めよ．
（なお，解答の順番は自由です．
）
• 問題をよく読み，問われていることについて，考えや途中計算を示した上で答えよ．答えの
みを書いた場合にはその解答は０点とする．
• 本問題兼解答用紙の他に計算用紙を１枚配布する，
（なお，計算用紙は回収しません．
）
• 落丁や問題に関する質問がある場合には静かに挙手をして知らせること．
1
問１（６点）以下の情報量に関する問題に答えよ．なお，情報量の計算の際には対数の底を 2，log2 3 ≃ 1.58
を近似値とし，答えが分数または対数の場合には小数点以下２桁まで示せ．
問 1-1 ４つの値（a1 , a2 , a3 , a4 ）を取り得る確率変数 X を考え，その生起確率が以下の表で与えれていると
する．このとき，(a) それぞれの事象に対する情報量 I(aj ) を求めよ．(b) 次に平均情報量（エントロピー）
H(X) を求めよ．
X
p(x)
a1
1/2
a2
1/4
a3
1/8
a4
1/8
解答
(a) 情報量 I(aj ) = log2 (1/p(aj )) を用いると，
I(a1 ) = log2 2 = 1, I(a2 ) = log2 4 = 2, I(a3 ) = I(a4 ) = log2 8 = 3
単位はビット．
(b) 平均情報量は上記の期待値を計算して，
H(X) =
4
∑
I(aj )p(aj ) = 1 ·
j=1
1
1
1
1
+ 2 · + 3 · + 3 · = 1.75 [bit]
2
4
8
8
問 1-2 A 君が２年後大学を卒業できる確率が 1/2，A 君が２年後に会社を起業する確率が 1/3 とする．この
とき，2 つの事象の結合エントロピーを求めなさい．ただし，２つの事象は独立であると仮定する．
解答
A 君が大学を卒業したという事象を A，A 君が会社を起業したという事象を B とすると，結合確率は P (ai ∩
bj ) = P (ai )P (bj ) と計算できる．
（a1 = A, a2 = Ā, b1 = B, b2 = B̄ ）よって結合エントロピー H(AB) は，
H(AB) = −
2
2 ∑
∑
P (ai ∩ bj ) log2 P (ai ∩ bj )
i=1 j=1
1
1 1
1
= 2 × (− log2 − log2 )
6
6 3
3
1
= + log2 3 ≃ 0.3333 + 1.58 ≃ 1.91 [bit]
3
2
問２（６点）
正常なサイコロ 1 つと，偶数の目が奇数の目より，2 倍出やすいという偏った癖のあるサイコロ 1 つを同時
にふるとき，まず，(a) 偏った癖のあるサイコロの各目が出る確率を求めよ．次に，(b) 出る目の合計がちょ
うど 6 となる確率，および，(c) 出る目の合計が 9 以下となる確率を求めよ． 最後に，(d) 出る目の合計の
期待値を求めよ．なお，答えは既約分数のままでもよい．
解答
(a)
表 1: 偏った癖のサイコロの出る目の確率
出た目
1
2
3
4
5
6
確率
出た目の合計
確率
2
1/54
1/9
2/9
1/9
2/9
1/9
2/9
表 2: ２つのサイコロの出た目の合計の確率
3
4
5
6
7
8
9
3/54
4/54
6/54
7/54
9/54
8/54
6/54
10
5/54
11
3/54
12
2/54
(b) P (X = 6) = 7/54
(c) P (X ≤ 9) = 1 − P (X > 10) = 1 − 10/54 = 22/27
(d) E[X] = E[X1 ]+E[X2 ] = (1+2+· · ·+6)/6+(1·1+2·2+1·3+2·4+1·5+2·6)/9 = 21/6+33/9 = 43/6
3
問３（６点）
52 枚のトランプカードにジョーカー 1 枚を加えた 53 枚から 5 枚抜き出してポーカーを行うとき，5 枚の
カードを用いてフルハウス (同じ数字のカードが 3 枚と，それらのカードの数字とは異なる数字のカードが
2 枚, 例：3, 3, 3, 4, 4 ）が出来る確率を以下の空欄を埋めながら求めよ．なお，下線には式，記号または
文字を，箱の中には数字（自然数）を答えること．なおこの問に限り答えのみでよい．
問題を解く際の注意：ジョーカーは 52 枚のトランプカードのいずれにもなることができるカード（ワイル
ドカード）とし，ジョーカーを使ってフルハウスを作れる役は，すべて考慮することとする．つまり，ジョー
カーを用いてフルハウスより強い役ができる場合でもフルハウスを優先する．また，A=1, J=11, Q=12,
K=13 と約束する．以下では n 個の中から r 個取り出す組み合わせの数を n Cr と書くことにする．
解答
標本空間 Ω は合計 53 枚のトランプカードから，順序を問わず 5 枚取り出す結果全体である．よって標本空
間の要素数は |Ω| =
C
= 2869685
であり，またすべての根元事象 ω ∈ Ω は等確率でおこる．
53
5
つまり ∀ω ∈ Ω, P ({ω}) = 1/|Ω|．
事象 A を「5 枚でフルハウスが出来る」とする．今 A を以下の２つの事象 A1 , A2 に分けて考える．
• A1 : ジョーカーを含まない５枚でフルハウスが出来る
• A2 : ジョーカーを含む５枚でフルハウスが出来る
このとき A = A1 ∪ A2 であるが，A1 と A2 は互いに素なので P (A) = P (A1 ) + P (A2 ) で求められる．
３カードを生成する数字を i，ペアを生成する数字を j で表す（i, j = 1, 2, . . . , 13）．A1 の要素数は，ま
ず i と j の組 (i, j) を１＝ Ace から 13 ＝ King の中から選び，次に i の４枚のカードから３枚，j の４枚の
カードから２枚順序を問わず選ぶ総数と等しい．このとき i ̸= j （3 カードの数字 i とペアの数字 j は同じ
にならない），かつ (i, j) ̸= (j, i) であることに注意すると，(i, j) の組み合わせは a1 = 13 × 12=156 通り
となる．よって事象 A1 の要素数は
次に，事象 A２ を以下のように
|A1 | = a1 × 4 C 3 × 4 C 2 =
3744
と求まる.
B1 : ジョーカーをのぞく残り４枚において 2 ペアを生成する
B2 : ジョーカー以外の４枚でスリーカードが出来る
の２つの事象にさらに分けて考える．このとき B1 と B2 は互いに素である．
ジョーカーをのぞく残り４枚において 2 ペアを生成する際の，２ペアを生成する数字を i と j とする．i
と j の組 (i, j) において i ̸= j であるが，(i, j) = (j, i) となることに注意（例；Ace(= i) のペアと King(= j)
のペアをつくることと，King のペアと Ace のペアをつくることは同じ) すると，(i, j) の組み合わせは b1 =
13 × 12/2 = 78 通りとなる．よって，事象 B1 の要素数は
|B1 | = b1 × 4 C 2 × 4 C 2 =
2808
.
最後に，ジョーカー以外の４枚でスリーカードが出来る際の，スリーカードを生成する数字を m, のこ
りのカードの数字を n とすると，m と n の組 (m, n) において m ̸= n，かつ (m, n) ̸= (n, m) であるから，
(n, m) の組み合わせは b2 = 13 × 12 = 156 通りとなる．よって，B2 の要素数は
以上より求める確率は
|B2 | = b2 × 4 C 3 × 4 C 1 =
P (A) =
.
|A1 | |B1 | |B2 |
+
+
|Ω|
|Ω|
|Ω|
9048
=
2496
|Ω|
696
=
220745
P (A) ≃0.32%であるので，ジョーカーを含まないでフルハウスが出来る場合の確率 P (A1 ) ≃0.13%と比べ
ると，２倍以上も出来やすくなることになる．
4
問４（６点）
パラメータ λ(> 0) で指定される指数分布：
p(x) =

λe−λx
x≥0
0 otherwise
に対して，(a) 期待値 µ = E[X] と (b) 分散 V [X] を計算せよ．
（途中計算も省略せずに書くこと!）
解答
(a), (b)
第４回分の問１を見よ．
E[X] = λ1 , V [X] = λ12 .
5
問５（６点）
状態 S0 , S1 , S2 間の遷移が以下の状態遷移図で与えられるマルコフ連鎖を考える．
0.9
S0
0.1
S1
0.8
l
l
l
0.6
l
0.2
0.4l
l
l
l l
S2
このとき，以下の問いに答えよ．(a) このマルコフ連鎖の遷移確率行列を求めよ．(b) 初期の時点（t = 0）
で状態 S0 にいるとき，次の時点（t = 1）で状態 S0 , S1 , S2 にいる確率を求めよ．(c) 初期の時点（t = 0）で
状態 S1 にいるとき，次の次の時点（t = 2）で状態 S0 , S1 , S2 にいる確率を求めよ．(d) 定常分布を求めよ．
解答
(a) 状態遷移図より，求める行列は以下となる．


0.9 0.1 0


P =  0 0.8 0.2 
0.4 0.6 0
(b) 状態 S0 ⇔ (1, 0, 0) より，次の時刻での状態確率分布は (1, 0, 0)P = (0.9, 0.1, 0)．よって，求める確率は
P (X1 = S0 ) = 0.9, P (X1 = S1 ) = 0.1, P (X1 = S2 ) = 0.
(c) 状態 S1 ⇔ (0, 1, 0) より，次の次の時刻での状態確率分布は
(1, 0, 0)P 2 = (0, 0.8, 0.2)P = (0.08, 0.76, 0.16)
と計算できる．よって，求める確率は
P (X2 = S0 ) = 0.08, P (X2 = S1 ) = 0.76, P (X2 = S2 ) = 0.16.
(d) 定常分布を α = (α1 , α2 , α3 ) とおく．連立方程式 α = αP かつ α1 + α2 + α3 = 1 を解いて，定常分布は
α = (0.4, 0.5, 0.1)
と求まる．
6