事象系 \(Y\) の結果が \(y_p\) だったことがわかっている場合の事象系 \(X\)、つまり \(X(y_p)\) を記述せよ。
出た目は2, 3, 5, 7の4パターンで、6以下のものは2, 3, 5の3つ、7以上のものは7の1つだけなので、事象系は以下のようになる。
\(
X(y_p)=
\begin{bmatrix}
x_s|y_p & x_b|y_p \\
\frac{3}{4} & \frac{1}{4}
\end{bmatrix}\\
\)
事象の書き方に注意。\(x_s|y_p\) の \(x_s\) と \(y_p\) の間は鉛直な線。分数ではないので \(x_s/y_p\) と書くのは誤り。
事象系 \(Y\) の結果が \(y_c\) だったことがわかっている場合の事象系 \(X\)、つまり \(X(y_c)\) を記述せよ。
出た目は4, 6, 8, 9の4パターンで、6以下のものは4, 6の2つ、7以上のものは8, 9の2つなので、事象系は以下のようになる。
\(
X(y_c)=
\begin{bmatrix}
x_s|y_c & x_b|y_c \\
\frac{1}{2} & \frac{1}{2}
\end{bmatrix}\\
\)
それぞれの確率を「2/4」としても正解ではあるが、約分して書くのが一般的。
課題1で求めた事象系 \(X(y_p)\) のエントロピー \(H(X|y_p)\) を求めよ。ただし、第1項は対数の形をそのまま残し、第2項は \(\log_24=2\)
であることを使って最も単純な形に変形すること。また、単位も書くこと。
エントロピーの定義より、
\(
\begin{eqnarray}
H(X|y_p)
&=& -\frac{3}{4}\log\frac{3}{4}-\frac{1}{4}\log\frac{1}{4}\\
&=& \frac{3}{4}\log\frac{4}{3}+\frac{1}{4}\log4\\
&=& \frac{3}{4}\log\frac{4}{3}+\frac{1}{4}\times2\\
&=& \frac{3}{4}\log\frac{4}{3}+\frac{1}{2}
\end{eqnarray}
\)
なので、\(H(X|y_p)=\frac{3}{4}\log\frac{4}{3}+\frac{1}{2}\) (ビット) となる。
第1項を分解して
\(
\begin{eqnarray}
H(X|y_p)
&=& -\frac{3}{4}\log\frac{3}{4}-\frac{1}{4}\log\frac{1}{4}\\
&=& -\frac{3}{4}\left(\log3-\log4\right)+\frac{1}{4}\log4\\
&=& -\frac{3}{4}\log3+\left(\frac{3}{4}+\frac{1}{4}\right)\log4\\
&=& -\frac{3}{4}\log3+1\times2\\
&=& -\frac{3}{4}\log3+2 (ビット)
\end{eqnarray}
\)
|
としも正解としたが、課題5で電卓を使うのでここまで手間をかける必要はない。問題文の「ただし~」の条件を参照。
課題2で求めた事象系 \(X(y_c)\) のエントロピー \(H(X|y_c)\) を求めよ。ただし、\(\log_22=1\) であることを使い、最も単純な形まで変形すること。また、単位も書くこと。
エントロピーの定義より、
\(
\begin{eqnarray}
H(X|y_c)
&=& -\frac{1}{2}\log\frac{1}{2}-\frac{1}{2}\log\frac{1}{2}\\
&=& \frac{1}{2}\log2+\frac{1}{2}\log2\\
&=& \frac{1}{2}+\frac{1}{2}\\
&=& 1\\
\end{eqnarray}
\)
なので、\(H(X|y_c)=1\) (ビット) となる。
課題3, 4の結果から、事象系 \(Y\) の結果がわかっているときの事象系 \(X\) のエントロピー \(H(X|Y)\)
を求めよ。ただし、概要の(7)式と同じレベルの導出過程を書き、最終的な結果は四捨五入して小数第二位までにすること。
考え方は (5)式, (6)式から(7)式を使って \(H(Y|X)\) の値を求めたときと同様で、\(X\) と \(Y\) に関わるものが逆になる。\(p_p, p_c\) の値は(2)式を見ればわかる。
\(
\begin{eqnarray}
&&H(X|Y)\\
=&&\displaystyle \sum_i p_i H(X|y_i)\\
=&&p_p H(X|y_p)+p_c H(X|y_c)\\
=&&\frac{1}{2}\left(\frac{3}{4}\log\frac{4}{3}+\frac{1}{2}\right)+\frac{1}{2}\times1\\
=&&\frac{3}{8}\log\frac{4}{3}+\frac{1}{4}+\frac{1}{2}\\
=&&\frac{3}{8}\log\frac{4}{3}+\frac{3}{4}\\
=&&0.905...\\
≒&&0.91
\end{eqnarray}
\)
|
なので、
\(H(X|Y)=0.91\) (ビット) となる。
関数電卓での計算は以下のようになる。
事象系 \(Y\) の結果がわかっていないときの事象系 \(X\) のエントロピーは、(1)式より
\(
\begin{eqnarray}
H(X)
&=& -\frac{5}{8}\log\frac{5}{8}-\frac{3}{8}\log\frac{3}{8}\\
&=& \frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}\\
&=& 0.954...\\
&≒& 0.95 (ビット)
\end{eqnarray}
\)
で、 \(H(X)>H(X|Y)\) という関係が成り立つ。
概要の3つ目の囲みの説明と同様に、これは「\(Y\) の結果がわかったことで \(X\) についても未確定なことが少し減った」と解釈できる。
文字の書き分けはきちんと
前回の説明の通り、事象系を表わすには大文字の \(X, Y\) を使い、個々の事象は小文字の \(x, y\) で表す。
また、右上の小さい文字、右下の小さい文字は位置・大きさをきちんと書き分ける必要がある。
\(\log_22^2\) を \(\log22^2\) や \(\log_222\) のように書いたり、\(y_c\) を \(yc\) や \(y^c\)
のように書いたりすると、本来と全く違う意味になってしまう。
「.」(ドット、小数点) と「,」(コンマ) と「、」(読点) の書き分けにも注意。