動画の解説を参照
2つの事象系があるとき、一方の事象系の結果が確定すると、もう一方の事象系の事象が起こる確率が変わることがあります。
例：以下の表のような構成の100人からランダムに1人を選び、その結果から以下の事象系を作る
選んだ人が男性 (
male) か女性 (
female) かに注目して事象系 \(X\) を作ると、男性は 29 + 27 = 56人、女性は 100 - 56 = 44人なので
\(
X=
\begin{bmatrix}
x_m & x_f \\
p_m & p_f
\end{bmatrix}
\)
\(
=
\begin{bmatrix}
x_m & x_f \\
56/100 & 44/100
\end{bmatrix}
\)・・・(1)
のようになります。
一方、選んだ人が未成年 (
child) か成人 (
adult) かに注目して事象系 \(Y\) を作ると、未成年は 29 + 21 = 50人、成人は 100 - 50 = 50人なので
\(
Y=
\begin{bmatrix}
y_c & y_a \\
p_c & p_a
\end{bmatrix}
\)
\(
=
\begin{bmatrix}
y_c & y_a \\
50/100 & 50/100
\end{bmatrix}
\)・・・(2)
のようになります。
以下の4つの事象からなる事象系 \(XY\) を考えることもできます。これを \(X\) と \(Y\) の結合事象系と呼びます。詳しくは次回解説します。
未成年男性であるという事象 : 確率は \(p_{mc}=29/100\)
未成年女性であるという事象 : 確率は \(p_{fc}=21/100\)
成年男性であるという事象 : 確率は \(p_{ma}=27/100\)
成年女性であるという事象 : 確率は \(p_{fa}=23/100\)
(1), (2) の確率は、これらの確率とは以下の関係を持ちます。
\(p_m=p_{mc}+p_{ma}\)
\(p_f=p_{fc}+p_{fa}\)
\(p_c=p_{mc}+p_{fc}\)
\(p_a=p_{ma}+p_{fa}\)
ここで、事象系 \(X\) の結果が \(x_m\) だったことがわかっている場合 (男性であることが確定している場合) の事象系 \(Y\) について考えてみましょう。
この前提で未成年である確率、成人である確率を、\(X\) の結果が確定していない場合と区別するために
\(p_c(x_m)\) : 男性であることが分かっている場合の、未成年である確率
\(p_a(x_m)\) : 男性であることが分かっている場合の、成人である確率
という形で表します。
このような確率のことを
条件付き確率とよびます。
これらの具体的な値は、母数を全体の100ではなく男性の総数にして考えれば求められます。
上の表から男性は 29 + 27 = 56(人) いて、そのうち未成年男性は 29人なので、\(p_c(x_m) = 29/56\) となります。
同様に考えれば \(p_a(x_m) = 27/56\) となることもわかります。
これは (2) の事象系の確率とは異なります。このように確率が変化する場合は2つの事象系 \(X\), \(Y\) に
相関があるといいます。
結合事象系の確率を使えば条件付き確率を一般的に表せます。
\(p_c(x_m)=\) (未成年男性の数) / (男性の数)
\(=\)(未成年男性の数 / 総数) / (男性の数 / 総数)
\(=p_{mc}/(p_{mc}+p_{ma})\)
\(=p_{mc}/p_m\)
同様に、
\(p_a(x_m)=\) (成人男性の数) / (男性の数)
\(=\)(成人男性の数 / 総数) / (男性の数 / 総数)
\(=p_{ma}/(p_{mc}+p_{ma})\)
\(=p_{ma}/p_m\)
事象系 \(X\) の結果が \(x_m\) だったことがわかっている場合に「未成年である」「成人である」という2つの事象からなる事象系を考えることもできます。この事象系は以下のように書きます。
\(
Y(x_m)=
\begin{bmatrix}
y_c|x_m & y_a|x_m \\
p_c(x_m) & p_a(x_m)
\end{bmatrix}
\)
\(
=
\begin{bmatrix}
y_c|x_m & y_a|x_m \\
p_{mc}/p_m&
p_{ma}/p_m
\end{bmatrix}
\)・・・(3)
同様に、事象系 \(X\) の結果が \(x_f\) だったことがわかっている場合 (女性であることが確定している場合) の事象系 \(Y\)は
\(
Y(x_f)=
\begin{bmatrix}
y_c|x_f & y_a|x_f \\
p_c(x_f) & p_a(x_f)
\end{bmatrix}
\)
\(
=
\begin{bmatrix}
y_c|x_f & y_a|x_f \\
p_{fc}/p_f&
p_{fa}/p_f
\end{bmatrix}
\)・・・(4)
逆に事象系 \(Y\) の結果が確定しているときの事象系 \(X\) を考えることもできます。
事象系 \(Y\) の結果が \(y_c\) だったことがわかっている場合 (未成年であることが確定している場合) の事象系 \(X\)は
\(
X(y_c)=
\begin{bmatrix}
x_m|y_c & x_f|y_c \\
p_m(y_c) & p_f(y_c)
\end{bmatrix}
\)
\(
=
\begin{bmatrix}
x_m|y_c & x_f|y_c \\
p_{mc}/p_c&
p_{fc}/p_c
\end{bmatrix}
\)・・・(5)
事象系 \(Y\) の結果が \(y_a\) だったことがわかっている場合 (成人であることが確定している場合) の事象系 \(X\)は
\(
X(y_a)=
\begin{bmatrix}
x_m|y_a & x_f|y_a \\
p_m(y_a) & p_f(y_a)
\end{bmatrix}
\)
\(
=
\begin{bmatrix}
x_m|y_a & x_f|y_a \\
p_{ma}/p_a&
p_{fa}/p_a
\end{bmatrix}
\)・・・(6)
書き方のルール
事象系(左辺)：「確定しているもの」をカッコに入れて書く
事象(右辺の上の行)：事象を表わす文字のあとに縦棒と「確定しているもの」を書く
容易に想像できるように、例えば「サイコロを投げて出た目の6つの事象からなる事象系 \(A\)」と「コインを投げて出た面の2つの事象からなる事象系 \(B\)」のような場合では、\(A\) の結果が確定しても
\(B\)の事象系には影響しません。このような場合はこれらの事象系に相関がないといいます。
動画の解説を参照
相関のある事象系では、一方の事象系の結果が確定すると、もう一方の事象系の確率が変わるので、エントロピーの値も変わります。
前項の例で、「\(x_m\) が確定している場合の \(Y\) のエントロピー」は
\(H(Y|x_m)\)
のように書きます。
縦棒の左が考慮する事象系、縦棒の右が確定済みの事象です。
このエントロピーの値は、(3)の事象系のそれぞれの確率から次のようになります。
\(H(Y|x_m)\)
\(=-\Large{\frac{p_{mc}}{p_m}}\)\(\log\)\(\Large{\frac{p_{mc}}{p_m}}\)
\(-\Large{\frac{p_{ma}}{p_m}}\)\(\log\)\(\Large{\frac{p_{ma}}{p_m}}\) (bit)・・・(7)
同様に、\(x_f\) が確定している場合の \(Y\) のエントロピーは、(4)の事象系のそれぞれの確率から次のようになります。
\(H(Y|x_f)\)
\(=-\Large{\frac{p_{fc}}{p_f}}\)\(\log\)\(\Large{\frac{p_{fc}}{p_f}}\)
\(-\Large{\frac{p_{fa}}{p_a}}\)\(\log\)\(\Large{\frac{p_{fa}}{p_f}}\)(bit)・・・(8)
ここで、わかっていることを書きだしてみます。
- \(x_m\) が起こる確率 は \(p_m\)
- \(x_f\) が起こる確率 は \(p_f\)
- \(x_m\) が起こったことが確定している場合の \(Y\) のエントロピーは \(H(Y|x_m)\)
- \(x_f\) が起こったことが確定している場合の \(Y\) のエントロピーは \(H(Y|x_f)\)
それぞれの事象が起こる確率とその情報量をかけて加えることによって情報量の平均値 (エントロピー) を求められるのと同様に、事象系 \(X\) の事象 \(x_i\) が起こる確率 \(p_i\)
と、その事象が起きたことが確定しているときの 事象系 \(Y(x_i)\) のエントロピー \(H(Y|x_i)\) をかけて加えれば「\(X\) の結果が (何に確定しているかは問わず) 確定している場合の \(Y\)
のエントロピー」を求めることができます。
このような量のことを
条件付きエントロピーと呼び、\(H(Y|X)\) のように書きます。
(7), (8) を使って簡単化すると以下のようになります。
\(H(Y|X)=\displaystyle \sum_i p_i H(Y|x_i)\)
\(=p_m H(Y|x_m)+p_f H(Y|x_f)\)
\(=p_m\)
\(\Large{(}\)
\(-\Large{\frac{p_{mc}}{p_m}}\)\(\log\)\(\Large{\frac{p_{mc}}{p_m}}\)
\(-\Large{\frac{p_{ma}}{p_m}}\)\(\log\)\(\Large{\frac{p_{ma}}{p_m})}\)
\(+p_f\)
\(\Large{(}\)
\(-\Large{\frac{p_{fc}}{p_f}}\)\(\log\)\(\Large{\frac{p_{fc}}{p_f}}\)
\(-\Large{\frac{p_{fa}}{p_f}}\)\(\log\)\(\Large{\frac{p_{fa}}{p_f})}\)
\(=-p_{mc}(\log p_{mc}-\log p_m)\)
\(-p_{ma}(\log p_{ma}-\log p_m)\)
\(-p_{fc}(\log p_{fc}-\log p_f)\)
\(-p_{fa}(\log p_{fa}-\log p_f)\)
\(=(p_{mc}+p_{ma})\log p_m + (p_{fc}+p_{fa})\log p_f\)
\(-p_{mc}\log p_{mc}\)
\(-p_{ma}\log p_{ma}\)
\(-p_{fc}\log p_{fc}\)
\(-p_{fa}\log p_{fa}\)
\(=p_m\log p_m + p_f\log p_f\)
\(-p_{mc}\log p_{mc}\)
\(-p_{ma}\log p_{ma}\)
\(-p_{fc}\log p_{fc}\)
\(-p_{fa}\log p_{fa}\) (bit)・・・(9)
一見複雑そうに見えますが、第3～6項は結合事象系のエントロピー \(H(XY)\), 第1, 2項は事象系 \(X\) のエントロピー \(H(X)\) に -1 をかけたもの、つまり
\(H(Y|X) = H(XY) - H(X)\)
です。
条件付きエントロピー書き方のルール
縦棒の左が対象 (未確定) の事象系、縦棒の右が確定済みの事象系を表します。
\(H(Y|X)\)：\(X\) の結果が確定している場合の \(Y\)のエントロピー
\(H(X|Y)\)：\(Y\) の結果が確定している場合の \(X\)のエントロピー
この例での単純な \(Y\) のエントロピー、つまり \(X\) の結果が確定していない場合の \(Y\) のエントロピーは(2)の事象系のそれぞれの確率から
\(H(Y)=-\frac{1}{2}\log\frac{1}{2}-\frac{1}{2}\log\frac{1}{2}=1\) (bit)
になります。
一方、 \(H(Y|X)\) の値は 0.998 (bit) で、これよりも小さい値です。
この結果は、「\(X\) の結果がわかったことで \(Y\) についても未確定なことが少し減った」と解釈できます。
相関がない2つの事象系「サイコロを投げて出た目の6つの事象からなる事象系 \(A\)」と「コインを投げて出た面の2つの事象からなる事象系 \(B\)」では、\(H(A|B)=H(A)\)、\(H(B|A)=H(B)\)
になります。
コインの表裏のどちらが出たかを知ってもサイコロの目については何もわからないし、サイコロの目のどれが出たかを知ってもコインの表裏については何もわからないことから、これは妥当な結果です。
課題1の条件で、事象系 \(X\) の結果が分からない場合の事象系 \(Y\) のエントロピー \(H(Y)\) を求めてください。計算結果も書き、四捨五入して小数第3位までにしてください。
課題2解説
課題1の条件で、事象系 \(X\) の結果が分かっている場合の事象系 \(Y\) のエントロピー \(H(Y|X)\) を求めてください。計算結果も書き、四捨五入して小数第3位までにしてください。
※ 事象系 \(X\), \(Y\) に相関があれば、\(X\) の結果を知ることで間接的に \(Y\) についても情報が得られ、未知のものが少なくなるため、\(H(Y|X)\)< \(H(Y)\) になります。
課題3解説