\(I(X, Y)\)
\(=-f\log f -(1-f)\log(1-f)\)
\(+p\log p+(1-p)\log(1-p)\)・・・(3)
を \(\alpha\) で偏微分すると、第3, 4項は \(\alpha\) に依存しないので消えます。
\(\Large{\frac{\partial I(X,Y)}{\partial\alpha}}\)
\(=-\large{\frac{\partial}{\partial\alpha}}\)\((f\log_2 f+(1-f)\log_2(1-f))\)
\(=-\large{\frac{1}{\log_e2}\frac{\partial}{\partial\alpha}}\)\((f\log_ef+(1-f)\log_e(1-f))\)
\(=-\large{\frac{1}{\log_e2}}\)\(\bigg(\large{\frac{\partial f}{\partial\alpha}}\)
\(\log_ef+f\)\(\large{\frac{\partial f}{\partial\alpha}}\)\(\log_ef\)
\(-\large{\frac{\partial f}{\partial\alpha}}\)\(\log_e(1-f)+(1-f)\)
\(\large{\frac{\partial}{\partial\alpha}}\)\(\log_e(1-f)\bigg)\)
\(=-\large{\frac{1}{\log_e2}}\)\(\bigg(\large{\frac{\partial f}{\partial\alpha}}\)
\(\log_ef+f\)\(\large{\frac{\partial f}{\partial\alpha}}\)\(\large{\frac{1}{f}}\)
\(-\large{\frac{\partial f}{\partial\alpha}}\)\(\log_e(1-f)-(1-f)\)
\(\large{\frac{\partial f}{\partial\alpha}\frac{1}{1-f}}\)\(\bigg)\)
\(=-\large{\frac{1}{\log_e2}}\)\(\bigg(\large{\frac{\partial f}{\partial\alpha}}\)
\(\log_ef+\)\(\large{\frac{\partial f}{\partial\alpha}}\)
\(-\large{\frac{\partial f}{\partial\alpha}}\)\(\log_e(1-f)-\)
\(\large{\frac{\partial f}{\partial\alpha}}\)\(\bigg)\)
\(=-\large{\frac{1}{\log_e2}}\)\((1-2p)\)
\(\big(\log_ef-\log_e(1-f)\big)\)
\(=-(1-2p)\big(\log_2f-\log_2(1-f)\big)\)
となります。
1行目から2行目、6行目から7行目の変形では対数の性質の4番目の性質 (
第1回参照)
\(\log_ab =\)\(\Large{\frac{\log_cb}{\log_ca}}\)
5行目から6行目の変形では
\(f\equiv (1-p)\alpha +p(1-\alpha)\)
を \(\alpha\) で偏微分したものが
\(\large{\frac{\partial f}{\partial\alpha}}\)\(=1-2p\)
であることを使いました。
相互情報量が最大になるのは、これが 0 になるとき、
\(f=1-f\)
つまり
\(f=1/2\)
のときです。