第4回　相互情報量と結合エントロピー　課題解答例

課題1

前回扱った事象系 \(X, Y\) について、\(I(X,Y)\) の値を求めよ。ただし、概要の囲みでの \(I(Y,X)\) の導出と同じレベルの導出過程を書き、最終結果は四捨五入して小数第二位までにすること。また、単位も書くこと。

前回の課題5の導出過程と枠線内の説明より、

\( \begin{eqnarray} &&H(X)=\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}\\ &&H(X|Y)=\frac{3}{8}\log\frac{4}{3}+\frac{3}{4} \end{eqnarray} \)

なので、

\( \begin{eqnarray} &&I(X,Y)\\ =&&H(X)-H(X|Y)\\ =&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3} -\left(\frac{3}{8}\log\frac{4}{3}+\frac{3}{4}\right)\\ =&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3} -\frac{3}{8}\log\frac{4}{3}-\frac{3}{4}\\ =&&0.048...\\ ≒&&0.05 \end{eqnarray} \)

よって、\(I(X,Y)=0.05\) ビット となる。
関数電卓では以下のように入力する。


導出の下から3行目は概要の枠線内の説明の \(I(Y,X)\) のものと一見違う形に見えるが、それぞれ対数の性質を使って変形すれば
\( \begin{eqnarray} I(Y,X)&=&1-\frac{3}{8}\log\frac{5}{3}-\frac{1}{4}\log\frac{5}{2}-\frac{1}{8}\log3-\frac{1}{4}\log\frac{3}{2}\\ &=&1-\frac{3}{8}(\log5-\log3)-\frac{1}{4}(\log5-1)-\frac{1}{8}\log3-\frac{1}{4}(\log3-1)\\ &=&\frac{4+1+1}{4}-\left(\frac{3}{8}+\frac{1}{4}\right)\log5+\left(\frac{3}{8}-\frac{1}{8}-\frac{1}{4}\right)\log3\\ &=&\frac{3}{2}-\frac{5}{8}\log5 \end{eqnarray} \)
\( \begin{eqnarray} I(X,Y)&=&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}-\frac{3}{8}\log\frac{4}{3}-\frac{3}{4}\\ &=&\frac{5}{8}(3-\log5)+\frac{3}{8}(3-\log3)-\frac{3}{8}(2-\log3)-\frac{3}{4}\\ &=&\frac{15+9-6-6}{8}-\frac{5}{8}\log5+\left(-\frac{3}{8}+\frac{3}{8}\right)\log3\\ &=&\frac{3}{2}-\frac{5}{8}\log5 \end{eqnarray} \)

となり、小数第二位までの値だけでなく完全に等しいことがわかる (こうした方が電卓への入力も楽になる)。
前回求めた (四捨五入して小数第二位までにした) 最終的な数値は
\(H(X)=0.95\) (ビット)
\(H(X|Y)=0.91\) (ビット)
\(H(Y)=1\) (ビット)
\(H(Y|X)=0.95\) (ビット)
で、これらを使って相互情報量を計算すると
\(I(X,Y)\)\(=H(X)-H(X|Y)\)\(=0.95-0.91=0.04\) (ビット)
\(I(Y,X)\)\(=H(Y)-H(Y|X)\)\(=1-0.95=0.05\) (ビット)
となり、異なる結果になってしまう。これは、四捨五入による誤差が累積してしまったせい。
それぞれの値の差から正確な値を求めるには、必要とする桁よりも下の桁まで求めておく必要がある。
正確に求めるには、それぞれ小数にせずに今回のように相互情報量を対数で表わした形から求めるのがよい。

課題2

(5) の結合事象系から \(H(XY)\) を求めよ。ただし、導出過程には「エントロピーの定義に従って確率と情報量の積和で書き下した形」を含め、第2～4項は \(\log4=2, \log8=3\) であることを使って式を簡略化し (第1項も簡略化しても構わない)、「関数電卓による計算結果(...つき)」を書いてから四捨五入して小数第二位までにした結果を書くこと。また、単位も書くこと。

エントロピーの定義より
\( \begin{eqnarray} H(XY)&&=-\displaystyle \sum_{i}p_i\log p_i\\ &&=-\frac{3}{8}\log\frac{3}{8}-\frac{1}{4}\log\frac{1}{4} -\frac{1}{8}\log\frac{1}{8}-\frac{1}{4}\log\frac{1}{4}\\ &&=\frac{3}{8}\log\frac{8}{3}+\frac{1}{4}\log4 +\frac{1}{8}\log8+\frac{1}{4}\log4\\ &&=\frac{3}{8}\log\frac{8}{3}+\frac{1}{2}+\frac{3}{8}+\frac{1}{2}\\ &&=\frac{3}{8}\log\frac{8}{3}+\frac{11}{8}\\ &&=1.905...\\ &&≒1.91 \end{eqnarray} \)

なので、\(H(XY)=1.91\) ビットとなる。
関数電卓では以下のように入力する。

課題3

前回の課題で扱った事象系 \(X, Y\) について、\(H(XY)\) を(6)式の右辺の形を使って求めよ。ただし、すくなくとも導出過程には「各項のカッコを外した形」「関数電卓による計算結果(...つき)」を含め、最終結果は四捨五入して小数第二位までにすること (必要なら関数電卓を使う前に \(\log2=1, \log4=2, \log8=3\) であることを使って式を簡略化しても構わない)。また、単位も書くこと。

前回の結果と今回の課題1より、
\( \begin{eqnarray} H(X)=&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}\\ H(Y)=&&1\\ I(Y,X)=&&I(X,Y)\\ =&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3} -\frac{3}{8}\log\frac{4}{3}-\frac{3}{4}\\\\ \end{eqnarray} \)
であることから、

\( \begin{eqnarray} &&H(XY)\\ =&&H(X)+H(Y)-I(Y,X)\\ =&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}+1- \left(\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3} -\frac{3}{8}\log\frac{4}{3}-\frac{3}{4}\right)\\ =&&1+\frac{3}{8}\log\frac{4}{3}+\frac{3}{4}\\ =&&\frac{3}{8}\log\frac{4}{3}+\frac{7}{4}\\ =&&1.905...\\ ≒&&1.91 \end{eqnarray} \)
なので、\(H(XY)=1.91\) ビットとなる。
関数電卓では以下のように入力する。


課題2と課題3の対数を残した形は一見違うもののように見えるが、さらに変形すれば課題2の方は
\( \begin{eqnarray} H(XY) &&=\frac{3}{8}\log\frac{8}{3}+\frac{11}{8}\\ &&=\frac{3}{8}(3-\log3)+\frac{11}{8}\\ &&=\frac{9}{8}+\frac{11}{8}-\frac{3}{8}\log3\\ &&=\frac{5}{2}-\frac{3}{8}\log3 \end{eqnarray} \)


課題3の方は
\( \begin{eqnarray} H(XY) =&&\frac{3}{8}\log\frac{4}{3}+\frac{7}{4}\\ =&&\frac{3}{8}(2-\log3)+\frac{7}{4}\\ =&&\frac{3}{4}+\frac{7}{4}-\frac{3}{8}\log3\\ =&&\frac{5}{2}-\frac{3}{8}\log3 \end{eqnarray} \)
で、完全に同じものであることがわかる。