第4回 相互情報量と結合エントロピー

初めに必ず連絡事項を確認してください。

相互情報量

概要

解説動画

相関のある2つの事象系で、一方の事象系の情報を知ることによって得られる、もう一方の事象系の情報量のことを相互情報量とよぶ。書き方は以下の通り。
書き方のルール
相互情報量と通常のエントロピー、条件付きエントロピーには以下のような関係がある。

\( I(Y,X)+H(Y|X)=H(Y) \cdots (1) \)

これは、それぞれの項の意味が
\(I(Y,X)\) \(X\) の結果を知ることで \(Y\) について確定すること
\(H(Y|X)\) \(X\) の結果を知っているときに \(Y\) について未確定なこと
\(H(Y)\) \(X\) の結果を知らないときに \(Y\) について未確定なこと
であることを考えれば自然に成り立つことがわかる。
このことは以下のような図で説明することもできる。 \(X\) と \(Y\) に相関があるので、「未確定なこと」には重なりがあり、

のようになる。「\(X\) の結果を知っているときに \(Y\) について未確定なこと」、つまり \(H(Y|X)\) は

のようになる。一方、「\(X\) の結果を知ることで \(Y\) について確定すること」、つまり \(I(Y,X)\) はちょうどこの欠けた部分

にあたる。これらを足せばもとの右側の円、つまり \(H(Y)\) になる。

さらにこの図を左右逆にして考えれば、(1) の \(X\) と \(Y\) を入れ替えた以下の関係も同様に成り立つことがわかる。

\(I(X,Y)+H(X|Y)=H(X) \cdots (2)\)

(1), (2)式の \(H(Y|X)\), \(H(X|Y)\) を右辺に移項すると、もとのエントロピーと条件付きエントロピーから相互情報量を求める式が得られる。

\(I(Y,X)=H(Y)-H(Y|X) \cdots (3)\)
\(I(X,Y)=H(X)-H(X|Y) \cdots (4)\)

\(I(X,Y)\) と \(I(Y,X)\) の意味は別のものだが、図を見ればこれらの実態は同じものであり、その値も等しいことがわかる。

第3回で扱った事象系 \(X\) と \(Y\) では、それぞれ

\(\begin{eqnarray}H(Y)=1\end{eqnarray} (ビット)\)
\(\begin{eqnarray}H(Y|X)=\frac{3}{8}\log\frac{5}{3}+\frac{1}{4}\log\frac{5}{2}+\frac{1}{8}\log3+\frac{1}{4}\log\frac{3}{2}\end{eqnarray}(ビット)\)

であった (第3回の概要の解説を参照)。これを(3)式に入れると

\(\begin{eqnarray} &&I(Y,X)\\ =&&H(Y)-H(Y|X)\\ =&&1-\frac{3}{8}\log\frac{5}{3}-\frac{1}{4}\log\frac{5}{2}-\frac{1}{8}\log3-\frac{1}{4}\log\frac{3}{2}\\ =&&0.048...\\ ≒&&0.05 (ビット) \end{eqnarray} \)

となる。

課題1

前回扱った事象系 \(X, Y\) について、\(I(X,Y)\) の値を求めよ。ただし、概要の囲みでの \(I(Y,X)\) の導出と同じレベルの導出過程を書き、最終結果は四捨五入して小数第二位までにすること。また、単位も書くこと。
課題1ヒント

結合事象系

概要

解説動画

二つの事象系のそれぞれの事象が同時に起こることを一つの事象としてとらえ、それらで構成される事象系をつくることができる。このような事象系を結合事象系、それを構成する事象を結合事象という。
例えば前回扱った事象系 \(X, Y\) から結合事象系を作ると以下のようになる。

結合事象系 \(XY\)
結合事象 条件 選んだ数
\(x_s,y_p\) 6以下の素数 2, 3, 5
\(x_s,y_c\) 6以下の合成数 4, 6
\(x_b,y_p\) 7以上の素数 7
\(x_b,y_c\) 7以上の合成数 8, 9
\( XY= \begin{bmatrix} x_s,y_p & x_s,y_c & x_b,y_p & x_b,y_c \\ \frac{3}{8} & \frac{1}{4} & \frac{1}{8} & \frac{1}{4} \end{bmatrix} \cdots (5) \)

書き方のルール

この例では事象系 \(X\) と \(Y\) には相関がある。そのため、\(x_s,y_p\) が起こる確率は、\(x_s\) が起こる確率と \(y_p\) が起こる確率をかけたものにはならない。
例えば \(x_s,y_p\) が起こる確率、つまり「小さい素数を選ぶ確率」は全8パターン中3パターンなので \(\frac{3}{8}\) であり、「小さいものを選ぶ確率」「素数を選ぶ確率」をかけた \(p_s\times p_p=\frac{5}{8}\times\frac{1}{2}=\frac{5}{16}\) とは異なる。

一方、元になった2つの事象系に相関がない場合、例えばコインを1枚、サイコロを1個を同時に投げ、

事象系 \(A\)
事象 条件 出た面
\(a_h\) 表(head)
\(a_t\) 裏(tail)

事象系 \(B\)
事象 条件 出た目
\(b_s\) 4以下(small) 1, 2, 3, 4
\(b_b\) 5以上(big) 5, 6

\( A= \begin{bmatrix} a_h & a_t \\ \frac{1}{2} & \frac{1}{2} \end{bmatrix} \)    \( B= \begin{bmatrix} b_s & b_b \\ \frac{2}{3} & \frac{1}{3} \end{bmatrix} \)

のような事象系を作ると、これらを組み合わせてできる結合事象は
結合事象 条件 パターン
\(a_h,b_s\) 表で4以下 4通り
\(a_h,b_b\) 表で5以上 2通り
\(a_t,b_s\) 裏で4以下 4通り
\(a_t,b_b\) 裏で5以上 2通り
の4つで、結合事象系は
\( AB= \begin{bmatrix} a_h,b_s & a_h,b_b & a_t,b_s & a_t,b_b \\ \frac{1}{3} & \frac{1}{6} & \frac{1}{3} & \frac{1}{6} \end{bmatrix} \)
のようになる。例えば \(a_h,b_s\) が起こる確率は、\(a_h\) と \(b_s\) が起こる確率をかけた値 \(\frac{1}{2}\times\frac{2}{3}=\frac{1}{3}\) に等しい。そのほかの結合事象が起こる確率も、同様にもとの事象が起こる確率の積と同じになる。

結合事象系の性質

結合事象系のエントロピーのことを結合エントロピーとよぶ。\(X\) と \(Y\) の結合事象系 \(XY\) のエントロピーを \(H(XY)\) と書く。これは、元になった事象のエントロピーを重なりなしで加えたものに等しい。相互情報量を考えたときの図で表わすと

にあたる。この図から、

\( H(XY)=H(X)+H(Y)-I(Y,X) \cdots (6) \)

という関係が成り立つことがわかる (左右の丸 \(H(X)\) と \(H(Y)\) を単純に足すと重なった部分を2回カウントすることになるので、重なり部分の値 \(I(Y,X)\) を引くと、上図の形の面積になる)。

一方、下図のように条件付きエントロピーとの関係を考えれば
\( \begin{eqnarray} H(XY)&=&H(X)+H(Y|X) \cdots (7)\\ &=&H(Y)+H(X|Y) \cdots(8)\\ &=&H(X|Y)+H(Y|X)+I(X,Y) \cdots(9) \end{eqnarray} \)

上の例の相関のない事象系 \(A, B\) では、\(H(A)\) と \(H(B)\) に重なりがないので \(I(A, B)=I(B, A)=0\) ビットになる。
実際、それぞれのエントロピーを計算してみると \(H(AB)=\log3+\frac{1}{3}\)ビット, \(H(A)=1\) ビット, \(H(B)=\log3-\frac{2}{3}\) ビットで、結合エントロピーはそれぞれの事象系のエントロピーを単純に足したものになる。

課題2

(5) の結合事象系から \(H(XY)\) を求めよ。ただし、導出過程には「エントロピーの定義に従って確率と情報量の積和で書き下した形」を含め、第2~4項は \(\log4=2, \log8=3\) であることを使って式を簡略化し (第1項も簡略化しても構わない)、「関数電卓による計算結果(無限小数を...で表したもの)」を書いてから四捨五入して小数第二位までにした結果を書くこと。また、単位も書くこと。
課題2ヒント

課題3

前回の課題で扱った事象系 \(X, Y\) について、\(H(XY)\) を(6)式の右辺の形を使って求めよ。ただし、すくなくとも導出過程には「各項のカッコを外した形」「関数電卓による計算結果(無限小数を...で表したもの)」を含め、最終結果は四捨五入して小数第二位までにすること (必要なら関数電卓を使う前に \(\log2=1\), \(\log4=2\), \(\log8=3\) であることを使って式を簡略化しても構わない)。また、単位も書くこと。
課題3ヒント

提出

ノート・紙に解いた課題を撮影したものを以下のフォームから送信してください。
課題提出用フォーム
※ 締切は10/5(土) 正午です。提出によって出席・点数がつきます。