第2回 エントロピー 課題解答例

課題1

以下の事象系のエントロピー \(H(X_3)\) を求めよ。ただし、「概要」の説明の \(H(X_2)\) を求める過程と同様に、総和を書き下した形、無限小数を「...」で表わした形を導出過程に含め、最終結果は四捨五入して小数第二位までにすること。
\( X_3= \begin{bmatrix} x_0 & x_1\cr 0.8 & 0.2 \end{bmatrix} \)


エントロピーの定義より、
\( \begin{eqnarray} H(X_3) &=& -0.8\times\log0.8-0.2\times\log0.2\\ &=& 0.721...\\ &≒& 0.72 \end{eqnarray} \)

なので、\(H(X_3)=0.72\) ビット となる (電卓アプリで「-0.8×log2(0.8)-0.2×log2(0.2)」のように入力すれば正確に求められる)。

課題2

以下の事象系のエントロピー \(H(X_4)\) を求めよ。ただし、総和を書き下した形、無限小数を「...」で表わした形を導出過程に含め、最終結果は四捨五入して小数第二位までにすること。
\( X_4= \begin{bmatrix} x_0 & x_1\cr 0.9 & 0.1 \end{bmatrix} \)


エントロピーの定義より、
\( \begin{eqnarray} H(X_4) &=& -0.9\times\log0.9-0.1\times\log0.1\\ &=& 0.468...\\ &≒& 0.47 \end{eqnarray} \)

なので、\(H(X_4)=0.47\) ビット となる (電卓アプリで「-0.9×log2(0.9)-0.1×log2(0.1)」のように入力すれば正確に求められる)。

課題3

以下の事象系のエントロピー \(H(Y_1)\) を求めよ。ただし、総和を書き下した形、無限小数を「...」で表わした形を導出過程に含め、最終結果は四捨五入して小数第二位までにすること。
\( Y_1= \begin{bmatrix} y_0 & y_1 &y_2\\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{bmatrix} \)


エントロピーの定義より、
\( \begin{eqnarray} H(Y_1) &=& -\frac{1}{3}\log\left(\frac{1}{3}\right)-\frac{1}{3}\log\left(\frac{1}{3}\right)-\frac{1}{3}\log\left(\frac{1}{3}\right)\\ &=& -\log\left(\frac{1}{3}\right)\\ &=& \log3\\ &=& 1.584...\\ &≒& 1.58 \end{eqnarray} \)


なので、\(H(Y_1)=1.58\) ビット となる (式を変形させずに1行目のまま電卓アプリに入力してもよいが、こちらの方が楽)。

課題4

以下の事象系のエントロピー \(H(Y_2)\) を求めよ。ただし、総和を書き下した形、無限小数を「...」で表わした形を導出過程に含め、最終結果は四捨五入して小数第二位までにすること。
\( Y_2= \begin{bmatrix} y_0 & y_1 &y_2\\ 0.5 & 0.3 & 0.2 \end{bmatrix} \)


エントロピーの定義より、
\( \begin{eqnarray} H(Y_2) &=& -0.5\times\log0.5-0.3\times\log0.3-0.2\times\log0.2\\ &=& 1.485...\\ &≒& 1.49 \end{eqnarray} \)


なので、\(H(Y_2)=1.49\) ビット となる (電卓アプリで「-0.5×log2(0.5)-0.3×log2(0.3)-0.2×log2(0.2)」のように入力すれば正確に求められる)。

書き方の全般的な注意

等しくないものをイコールでつながない
例えば課題1で
\(X_3=\begin{bmatrix}x_0 & x_1\\0.8 & 0.2\end{bmatrix}\)\(H(X_3)=...\)

とするのは誤り。\(X_3\) は事象系、\(H(X_3)\) はそのエントロピーで、まったく別のもの。

似たような間違いとして
課題1 \(H(X_3)=...\)

というものもある。「課題1」はただの課題の番号で、これと \(H(X_3)\) も別のもの。

話し言葉の「だから」とか「これは」的な感覚で「=」を使ってはいけない。

「=」と「≒」の使い分け
「=」は厳密に等しいもの、「≒」はほぼ等しいものをつなぐときに使う。
今回の課題なら対数表記のものと「...」つきの小数をつなぐのは「=」、それと最後の四捨五入した値をつなぐのは「≒」。