情報源事象系 (入力の値「0」「1」を事象とする事象系) \(X\) と、出力の値「0」「1」を事象とする事象系 \(Y\) があるとき、通信路で変化が起こると、 \(X\) と \(Y\) は異なったものになり、それぞれのエントロピーは図のように表されます。
このうちの重なり部分、つまり相互情報量が「実質的に通信路を通った情報の量」です。
これが多ければ通信路をたくさんの情報が通れる、つまり通信路の性能が良いことになります。
ちなみに、
左の三日月 \(H(X|Y)\) は「出力について知っていても入力についてわからないこと」→「通信路を通れなかった情報の量」
右の三日月 \(H(Y|X)\) は「入力について知っていても出力についてわからないこと」→「変化してできたゴミ情報の量」
です。
相互情報量の値は、「情報源事象系 \(X\) で 0, 1 が発生する確率」と「通信路で変化が起こる確率」の両方に依存します。
一般的な通信路で考えると複雑になりすぎるので、2元対称通信路
\(\boldsymbol{T} = \begin{bmatrix}1-p & p \\ p & 1-p\end{bmatrix}\)
と、以下の確率で 0, 1 が発生する情報源事象系で考えてみましょう。
\(\boldsymbol{p}_x = \begin{bmatrix}\alpha \\ 1-\alpha\end{bmatrix}\)
前回やったように、出力が 0, 1 になる確率は以下のように求められます。
\(\boldsymbol{p}_y=\boldsymbol{T}^T\boldsymbol{p}_x\)
\(= \begin{bmatrix}1-p & p \\ p & 1-p\end{bmatrix} \begin{bmatrix}\alpha \\ 1-\alpha\end{bmatrix}\)
\(= \begin{bmatrix}(1-p)\alpha +p(1-\alpha)\\ p\alpha+(1-p)(1-\alpha)\end{bmatrix}\)
このあとの計算でこの長い式を書くのは面倒なので \(\alpha, p\) の関数として
\(f\equiv (1-p)\alpha +p(1-\alpha)\)
を定義すると、それぞれのエントロピーは以下のようになります。
\(H(X)=-\alpha\log \alpha -(1-\alpha)\log(1-\alpha)\)・・・(1)
\(H(Y)=-f\log f -(1-f)\log(1-f)\)・・・(2)
さらに、 \(X\) と \(Y\) の結合事象系 \(XY\) は以下のようになります。
\(H(Y)=-f\log f -(1-f)\log(1-f)\)・・・(2)
\(
XY=
\begin{bmatrix}
x_0,y_0 & x_1,y_0 & x_0,y_1 & x_1,y_1 \\
\alpha(1-p) & (1-\alpha)p & \alpha p & (1-\alpha)(1-p)
\end{bmatrix}
\)
このエントロピーは
\(H(XY)\)
\(=-\alpha(1-p)\log\{\alpha(1-p)\}\) \(-(1-\alpha)p\log\{(1-\alpha)p\}\) \(-\alpha p\log(\alpha p)\) \(-(1-\alpha)(1-p)\log\{(1-\alpha)(1-p)\}\)
\(=-\alpha\log\alpha\) \(-(1-\alpha)\log(1-\alpha)\) \(-p\log p\) \(-(1-p)\log(1-p)\)・・・(3)
となります。ここで第4回の (5) の関係式を使い、(3) 式右辺の第1, 2項が (1) 式の右辺と一致することを考えれば
\(=-\alpha(1-p)\log\{\alpha(1-p)\}\) \(-(1-\alpha)p\log\{(1-\alpha)p\}\) \(-\alpha p\log(\alpha p)\) \(-(1-\alpha)(1-p)\log\{(1-\alpha)(1-p)\}\)
\(=-\alpha\log\alpha\) \(-(1-\alpha)\log(1-\alpha)\) \(-p\log p\) \(-(1-p)\log(1-p)\)・・・(3)
\(I(X, Y)\)
\(= H(X)+H(Y)-H(XY)\)
\(=-f\log f -(1-f)\log(1-f)\) \(+p\log p+(1-p)\log(1-p)\)・・・(4)
が得られます。
\(= H(X)+H(Y)-H(XY)\)
\(=-f\log f -(1-f)\log(1-f)\) \(+p\log p+(1-p)\log(1-p)\)・・・(4)