第4回　結合エントロピーと相互情報量

オンデマンドで受講する場合は、本題に入る前に必ず連絡の動画を見てください。

結合エントロピー

概要

動画の解説を参照

第3回では、未成年男性・未成年女性・成年男性・成年女性からなるグループから1人を選び、男性か女性かに注目して事象系 \(X\)、未成年か成人かに注目して事象系 \(Y\) を作りました。
\( X= \begin{bmatrix} x_m & x_f \\ p_m & p_f \end{bmatrix} \)
\( Y= \begin{bmatrix} y_c & y_a \\ p_c & p_a \end{bmatrix} \)
この2つの事象系の事象を組み合わせて
\(x_m,y_c\) : 「男性である」という事象と「未成年である」という事象が同時に起こる事象 → 「未成年男性である」という事象
\(x_f,y_c\) : 「女性である」という事象と「未成年である」という事象が同時に起こる事象 → 「未成年女性である」という事象
\(x_m,y_a\) : 「男性である」という事象と「成人である」という事象が同時に起こる事象 → 「成人男性である」という事象
\(x_f,y_a\) : 「女性である」という事象と「成人である」という事象が同時に起こる事象 → 「成人女性である」という事象
を考えると、この4つは不足や重なりのない組み合わせなので、これらからひとつの事象系を作ることができます。
\( XY= \begin{bmatrix} x_m,y_c & x_f,y_c & x_m,y_a & x_f,y_a \\ p_{mc} & p_{fc} & p_{ma} & p_{fa} \end{bmatrix} \)
このとき、\(XY\) を \(X\) と \(Y\) の結合事象系と呼びます。
また、結合事象系のエントロピー \(H(XY)\) を結合エントロピーと呼びます。

書き方の注意
結合事象系の事象は、もとの事象系の事象の間にコンマを入れて書きます。
正 : \(x_m,y_c\)
誤 : \(x_my_c\)
誤 : \(x_m\cdot y_c\)
誤 : \(x_m\times y_c\)
コンマを忘れたり、間に変な演算子を入れると誤りになるので注意してください。
結合エントロピーと条件付きエントロピーの関係
\(X\), \(Y\) に相関がある場合、つまり一方の結果が確定するともう一方の事象系の事象の確率が変化する場合は、それぞれのエントロピーは以下のような関係にあります。


一方、結合エントロピーはこれらの重なりを重複せずに含むこのような領域にあたります。


\(H(Y|X)\) の定義が「\(X\) の結果が確定しているときの \(Y\) のエントロピー」つまり「\(X\) についてはすべてわかっていて、それでも \(Y\) についてわからないこと」であることを考えれば、図で

のように表されるので
\(H(X) + H(Y|X) = H(XY)\)
となり、\(H(X)\) を移項すれば前回の「条件付きエントロピー」の概要で得られた結果
\(H(Y|X) = H(XY) - H(X)\)
が得られます。\(X\) と \(Y\) を逆にして考えれば以下の関係が成り立つこともわかります。
\(H(X|Y) = H(XY) - H(Y)\)

課題1

※ 準備 : 学籍番号を入れて「入力」をクリック (タップ) してください。


人数の内訳が以下の表のような場合の結合エントロピー \(H(XY)\) を求めてください。
計算過程も書き、四捨五入して小数第3位までにしてください。
男性 女性
未成年
成人
課題1解説

相互情報量

概要

動画の解説を参照

前回確認したように、2つの事象系に相関がある場合には、条件付きエントロピーはもとのエントロピーより小さくなります。
一方、相関がない場合は、条件付きエントロピーはもとのエントロピーと等しくなります。
結果として、以下の関係が常に成り立ちます。
\(H(Y) ≥ H(Y|X)\)
\(H(X) ≥ H(X|Y)\)
これらの不等式の右辺を左辺に移項するとこのようになります。
\(H(Y) - H(Y|X) ≥ 0\)
\(H(X) - H(X|Y) ≥ 0\)
この左辺の量のことを相互情報量と言います。
\(I(Y, X) \equiv H(Y) - H(Y|X)\)・・・(1)
\(I(X, Y) \equiv H(X) - H(X|Y)\)・・・(2)
前のチャプターで使った図で考えれば、(1)の\(I(Y, X)\) は「\(X\) の結果がわかることによって確定する、\(Y\) について未確定だった量」と解釈できます。


つまり、\(I(Y, X)\) はこの部分に相当します。


(2)の\(I(X, Y)\) は「\(Y\) の結果がわかることによって確定する、\(X\) について未確定だった量」であり、厳密には (1) と意味は異なりますが、値が等しくなることは図から明らかです。
\(I(Y, X) = I(X, Y)\)・・・(3)
また、これらが「\(H(X)\) と \(H(Y)\) の重なり部分」であることを考えると、
\(H(XY) = H(X) + H(Y) - I(Y, X)\)・・・(4)
が成り立つこともわかります。これを変形すれば
\(I(Y, X) = H(X) + H(Y) - H(XY)\)・・・(5)
となります。

課題2

課題1の条件で、相互情報量 \(I(Y, X)\) を求めてください。計算過程も書き、四捨五入して小数第3位までにしてください。

(5)式に含まれるエントロピーを書き下すと、それぞれ
\(H(X) = -p_m\log p_m - p_f\log p_f\)
\(H(Y) = -p_c\log p_c - p_a\log p_a\)
\(H(XY)\) \(=-p_{mc}\log p_{mc}\) \(-p_{ma}\log p_{ma}\) \(-p_{fc}\log p_{fc}\) \(-p_{fa}\log p_{fa}\)
となるので、相互情報量は
\(I(Y,X)\) \(= -p_m\log p_m - p_f\log p_f\) \(-p_c\log p_c - p_a\log p_a\) \(+p_{mc}\log p_{mc}\) \(+p_{ma}\log p_{ma}\) \(+p_{fc}\log p_{fc}\) \(+p_{fa}\log p_{fa}\)
で求められます。
課題2解説

課題

課題解答