入力信号の事象系が
\(
\begin{eqnarray}
X_1&=&
\begin{bmatrix}
x_0 & x_1 \\
0.3 & 0.7
\end{bmatrix}
\end{eqnarray}
\)
で、通信路の通信路行列が
\(
\begin{eqnarray}
T&=&
\begin{bmatrix}
0.9 & 0.1 \\
0.1 & 0.9
\end{bmatrix}
\end{eqnarray}
\)
の場合の入力 \(X_1\) と出力 \(Y_1\) の相互情報量を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。
\(\alpha=0.3, p=0.1\) を (7)式第3項の対数の前後のカッコの中の部分に入れると
\(
\begin{eqnarray}
&&p+\alpha-2\alpha p\\
=&&0.3+0.1-2\times0.3\times0.1\\
=&&0.34
\end{eqnarray}
\)
になる。第4項の対数の前後のカッコの中の値は1からこれを引いたものなので \(0.66\) となる。よって、
\(
\begin{eqnarray}
I(X_1,Y_1)=&&0.1\log0.1+0.9\log0.9-0.34\log0.34-0.66\log0.66\\
=&&0.455...\\
≒&&0.46
\end{eqnarray}
\)
|
なので、相互情報量は
0.46ビット。
入力信号の事象系が
\(
\begin{eqnarray}
X_2&=&
\begin{bmatrix}
x_0 & x_1 \\
0.5 & 0.5
\end{bmatrix}
\end{eqnarray}
\)
で、課題1と同じ通信路を通した場合の入力 \(X_2\) と出力 \(Y_2\) の相互情報量を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。
\(\alpha=0.5, p=0.1\) を (7)式第3項の対数の前後のカッコの中の部分に入れると
\(
\begin{eqnarray}
&&p+\alpha-2\alpha p\\
=&&0.5+0.1-2\times0.5\times0.1\\
=&&0.5
\end{eqnarray}
\)
になる。第4項の対数の前後のカッコの中の値は1からこれを引いたものなので、これも \(0.5\) となる。
(この結果は前回の課題3で求めたものと同じ)
よって、
\(
\begin{eqnarray}
I(X_2,Y_2)=&&0.1\log0.1+0.9\log0.9-0.5\log0.5-0.5\log0.5\\
=&&0.531...\\
≒&&0.53
\end{eqnarray}
\)
|
なので、相互情報量は
0.53ビット。
定義より、これはこの通信路の通信路容量 \(C\) でもある。
\(\alpha=0.5\) の情報源事象系 \(X_2\) のエントロピー \(H(X_2)\) は1ビットなので、この結果は無事に伝わる情報量が半分程度であることを意味する。
「0」「1」が変化する確率が10%であることから直感的に連想される値とはかなり異なる。
\(p=0.01\) の2元対称通信路の通信路容量 \(C\) の値を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。
(8)式の \(p\) に \(0.01\) を入れると
\(
\begin{eqnarray}
C=&&0.01\log0.01+0.99\log0.99+1\\
=&&0.919...\\
≒&&0.92
\end{eqnarray}
\)
|
なので、通信路容量は
0.92ビット。
\(p=0.001\) の2元対称通信路の通信路容量 \(C\) の値を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。
(8)式の \(p\) に \(0.001\) を入れると
\(
\begin{eqnarray}
C=&&0.001\log0.001+0.999\log0.999+1\\
=&&0.988...\\
≒&&0.99
\end{eqnarray}
\)
|
なので、通信路容量は
0.99ビット。