解説動画
相関のある2つの事象系で、一方の事象系の情報を知ることによって得られる、もう一方の事象系の情報量のことを
相互情報量とよぶ。書き方は以下の通り。
- \(I(Y,X)\) : 事象系 \(X\) の結果が確定することで得られる、事象系 \(Y\) に関する情報量
- \(I(X,Y)\) : 事象系 \(Y\) の結果が確定することで得られる、事象系 \(X\) に関する情報量
書き方のルール
- コンマの前が未確定の事象系
- コンマの後が確定済みの事象系
相互情報量と通常のエントロピー、条件付きエントロピーには以下のような関係がある。
\(
I(Y,X)+H(Y|X)=H(Y) \cdots (1)
\)
これは、それぞれの項の意味が
\(I(Y,X)\) |
\(X\) の結果を知ることで \(Y\) について確定すること |
\(H(Y|X)\) |
\(X\) の結果を知っているときに \(Y\) について未確定なこと |
\(H(Y)\) |
\(X\) の結果を知らないときに \(Y\) について未確定なこと |
であることを考えれば自然に成り立つことがわかる。
このことは以下のような図で説明することもできる。 \(X\) と \(Y\) に相関があるので、「未確定なこと」には重なりがあり、

のようになる。「\(X\) の結果を知っているときに \(Y\) について未確定なこと」、つまり \(H(Y|X)\) は

のようになる。一方、「\(X\) の結果を知ることで \(Y\) について確定すること」、つまり \(I(Y,X)\) はちょうどこの欠けた部分

にあたる。これらを足せばもとの右側の円、つまり \(H(Y)\) になる。
さらにこの図を左右逆にして考えれば、(1) の \(X\) と \(Y\) を入れ替えた以下の関係も同様に成り立つことがわかる。
\(I(X,Y)+H(X|Y)=H(X) \cdots (2)\)
(1), (2)式の \(H(Y|X)\), \(H(X|Y)\) を右辺に移項すると、もとのエントロピーと条件付きエントロピーから相互情報量を求める式が得られる。
\(I(Y,X)=H(Y)-H(Y|X) \cdots (3)\)
\(I(X,Y)=H(X)-H(X|Y) \cdots (4)\)
\(I(X,Y)\) と \(I(Y,X)\) の意味は別のものだが、図を見ればこれらの実態は同じものであり、その値も等しいことがわかる。
第3回で扱った事象系 \(X\) と \(Y\) では、それぞれ
\(\begin{eqnarray}H(Y)=1\end{eqnarray} (ビット)\)
\(\begin{eqnarray}H(Y|X)=\frac{3}{8}\log\frac{5}{3}+\frac{1}{4}\log\frac{5}{2}+\frac{1}{8}\log3+\frac{1}{4}\log\frac{3}{2}\end{eqnarray}(ビット)\)
|
であった (第3回の概要の解説を参照)。これを(3)式に入れると
\(\begin{eqnarray}
&&I(Y,X)\\
=&&H(Y)-H(Y|X)\\
=&&1-\frac{3}{8}\log\frac{5}{3}-\frac{1}{4}\log\frac{5}{2}-\frac{1}{8}\log3-\frac{1}{4}\log\frac{3}{2}\\
=&&0.048...\\
≒&&0.05 (ビット)
\end{eqnarray}
\)
|
となる。
前回扱った事象系 \(X, Y\) について、\(I(X,Y)\) の値を求めよ。ただし、概要の囲みでの \(I(Y,X)\)
の導出と同じレベルの導出過程を書き、最終結果は四捨五入して小数第二位までにすること。また、単位も書くこと。
課題1ヒント
- 今回の(4)式を使う。
- 前回の課題5の解説のページに \(H(X)\) と \(H(X|Y)\) の計算結果が記載されている (いずれも最後の数値ではなく対数を残した形の方を計算に使う)。
- (この課題ではやらなくてもよいが) \(I(Y,X)\) と \(I(X,Y)\) を対数で表わしたものを変形すれば、これらが同じものであることを確認できる。
解説動画
二つの事象系のそれぞれの事象が同時に起こることを一つの事象としてとらえ、それらで構成される事象系をつくることができる。このような事象系を
結合事象系、それを構成する事象を
結合事象という。
例えば前回扱った事象系 \(X, Y\) から結合事象系を作ると以下のようになる。
結合事象系 \(XY\)
結合事象 |
条件 |
選んだ数 |
\(x_s,y_p\) |
6以下の素数 |
2, 3, 5 |
\(x_s,y_c\) |
6以下の合成数 |
4, 6 |
\(x_b,y_p\) |
7以上の素数 |
7 |
\(x_b,y_c\) |
7以上の合成数 |
8, 9 |
\(
XY=
\begin{bmatrix}
x_s,y_p & x_s,y_c & x_b,y_p & x_b,y_c \\
\frac{3}{8} & \frac{1}{4} & \frac{1}{8} & \frac{1}{4}
\end{bmatrix} \cdots (5)
\)
|
書き方のルール
- 結合事象系の記号(左辺)は、もとの事象系の記号 (この例では \(X\) と \(Y\)) を並べて書く。
- 結合事象の記号(右辺の上の行)は、もとの事象系の事象 (この例では \(x_s\) と \(y_p\) など) をコンマで区切って書く。
この例では事象系 \(X\) と \(Y\) には相関がある。そのため、\(x_s,y_p\) が起こる確率は、\(x_s\) が起こる確率と \(y_p\) が起こる確率をかけたものにはならない。
例えば \(x_s,y_p\) が起こる確率、つまり「小さい素数を選ぶ確率」は全8パターン中3パターンなので \(\frac{3}{8}\) であり、「小さいものを選ぶ確率」「素数を選ぶ確率」をかけた
\(p_s\times p_p=\frac{5}{8}\times\frac{1}{2}=\frac{5}{16}\) とは異なる。
一方、元になった2つの事象系に相関がない場合、例えばコインを1枚、サイコロを1個を同時に投げ、
事象系 \(A\)
事象 |
条件 |
出た面 |
\(a_h\) |
表(head) |
表 |
\(a_t\) |
裏(tail) |
裏 |
事象系 \(B\)
事象 |
条件 |
出た目 |
\(b_s\) |
4以下(small) |
1, 2, 3, 4 |
\(b_b\) |
5以上(big) |
5, 6 |
\(
A=
\begin{bmatrix}
a_h & a_t \\
\frac{1}{2} & \frac{1}{2}
\end{bmatrix}
\)
\(
B=
\begin{bmatrix}
b_s & b_b \\
\frac{2}{3} & \frac{1}{3}
\end{bmatrix}
\)
のような事象系を作ると、これらを組み合わせてできる結合事象は
結合事象 |
条件 |
パターン
|
\(a_h,b_s\) |
表で4以下 |
4通り |
\(a_h,b_b\) |
表で5以上 |
2通り |
\(a_t,b_s\) |
裏で4以下 |
4通り |
\(a_t,b_b\) |
裏で5以上 |
2通り |
の4つで、結合事象系は
\(
AB=
\begin{bmatrix}
a_h,b_s & a_h,b_b & a_t,b_s & a_t,b_b \\
\frac{1}{3} & \frac{1}{6} & \frac{1}{3} & \frac{1}{6}
\end{bmatrix}
\)
|
のようになる。例えば \(a_h,b_s\) が起こる確率は、\(a_h\) と \(b_s\) が起こる確率をかけた値
\(\frac{1}{2}\times\frac{2}{3}=\frac{1}{3}\) に等しい。そのほかの結合事象が起こる確率も、同様にもとの事象が起こる確率の積と同じになる。
結合事象系の性質
- 相関がある場合:結合事象系の事象が起こる確率はもとの事象系の事象が起こる確率を単純にかけたものとは一般に異なる
- 相関がない場合:結合事象系の事象が起こる確率はもとの事象系の事象が起こる確率を単純にかけたものになる
結合事象系のエントロピーのことを
結合エントロピーとよぶ。\(X\) と \(Y\) の結合事象系 \(XY\) のエントロピーを \(H(XY)\)
と書く。これは、元になった事象のエントロピーを
重なりなしで加えたものに等しい。相互情報量を考えたときの図で表わすと
にあたる。この図から、
\(
H(XY)=H(X)+H(Y)-I(Y,X) \cdots (6)
\)
|
という関係が成り立つことがわかる (左右の丸 \(H(X)\) と \(H(Y)\) を単純に足すと重なった部分を2回カウントすることになるので、重なり部分の値 \(I(Y,X)\)
を引くと、上図の形の面積になる)。
一方、下図のように条件付きエントロピーとの関係を考えれば
\(
\begin{eqnarray}
H(XY)&=&H(X)+H(Y|X) \cdots (7)\\
&=&H(Y)+H(X|Y) \cdots(8)\\
&=&H(X|Y)+H(Y|X)+I(X,Y) \cdots(9)
\end{eqnarray}
\)
|
上の例の相関のない事象系 \(A, B\) では、\(H(A)\) と \(H(B)\) に重なりがないので \(I(A, B)=I(B, A)=0\) ビットになる。
実際、それぞれのエントロピーを計算してみると \(H(AB)=\log3+\frac{1}{3}\)ビット, \(H(A)=1\) ビット, \(H(B)=\log3-\frac{2}{3}\)
ビットで、結合エントロピーはそれぞれの事象系のエントロピーを単純に足したものになる。
(5) の結合事象系から \(H(XY)\) を求めよ。ただし、導出過程には「エントロピーの定義に従って確率と情報量の積和で書き下した形」を含め、第2~4項は \(\log4=2, \log8=3\)
であることを使って式を簡略化し (第1項も簡略化しても構わない)、「関数電卓による計算結果(無限小数を...で表したもの)」を書いてから四捨五入して小数第二位までにした結果を書くこと。また、単位も書くこと。
課題2ヒント
前回の課題で扱った事象系 \(X, Y\) について、\(H(XY)\)
を(6)式の
右辺の形を使って求めよ。ただし、すくなくとも導出過程には「各項のカッコを外した形」「関数電卓による計算結果(無限小数を...で表したもの)」を含め、最終結果は四捨五入して小数第二位までにすること
(必要なら関数電卓を使う前に \(\log2=1\), \(\log4=2\), \(\log8=3\) であることを使って式を簡略化しても構わない)。また、単位も書くこと。
課題3ヒント
- (6)式から課題2と同じ結果になることは明らかだが、それを確認するためにあえて計算を行う。
- \(H(X), H(Y)\) には前回の結果 (今回の「相互情報量」の概要や課題1でも参照した) を使う。
- \(I(Y,X)\) には今回の「相互情報量」の概要の黒枠にある形を使う。
- \(H(X), H(Y), I(Y,X)\) のいずれも数値に置き換える直前の、対数を残した形を使う。
-
(この課題ではやらなくてもよいが) (6)式の左辺と右辺を対数で表わしたもの (課題2, 課題3の計算で数値に置き換える直前の形) を変形すれば、これらが同じものであることを確認できる。
ノート・紙に解いた課題を撮影したものを以下のフォームから送信してください。
課題提出用フォーム
※ 締切は10/5(土) 正午です。提出によって出席・点数がつきます。