第1回 情報量 課題解答例

課題1

偏りのないコインを5枚投げた場合について、以下の問いに答えよ。
  1. 事象は全部で何通りあるか。
    それぞれのコインについて表 → 0, 裏 → 1に置き換えて考えると、00000~11111の5桁の2進数で表わせる。5桁の2進数は \(2^5=32\) 通りなので、結果のパターン数も32通りある。

  2. 5枚のコインがすべて表になる確率はいくらか。
    すべて表になるのは32通りのうち1通り。偏りがないためすべての結果の確率は同じになるので、結果は \(\frac{1}{32}\) になる。

  3. 5枚のコインがすべて表になるという事象にかかわる情報量は何ビットか。
    設問2の結果から

    \( \begin{eqnarray} I\left(\frac{1}{32}\right) =&&-\log\left(\frac{1}{32}\right)\\ =&&-\log\left(2^{-5}\right)\\ =&&-(-5)\log 2\\ =&&5 \end{eqnarray} \)

    なので5ビットになる。 また、コイン1枚あたりの結果が1ビットで、それぞれの結果が互いに無関係であることより、情報の加法性から5ビットになると考えることもできる。

課題2

以下の事象に関わる情報量を求めよ。ただし、結果は四捨五入して小数第二位までにし、単位も忘れずに書くこと。

いずれの設問も、例えば 真・関数電卓 (App StoreGoogle Play) などの対数の底を指定できるアプリを使い、底を2にして求める。
  1. 12面体サイコロを1つ投げ、1の目が出た。
    この事象が起こる確率は \(p=1/12\) なので、

    \( \begin{eqnarray} I\left(\frac{1}{12}\right)&=&-\log\left(\frac{1}{12}\right)\cr &=&-\log(12^{-1})\cr &=&\log(12)\cr &=&3.584\cdots\cr &≒&3.58 \end{eqnarray} \)

    より情報量は3.58ビットになる。



    常用対数や自然対数しか使えないタイプの電卓しか使えない場合は、たとえば \(\log_2(12)=\frac{\log_{10}12}{\log_{10}2}\) のように対数の4番目の性質を使って求める。
    ただし、その場合は有効桁数に注意する必要がある。
    最終的な答えの有効桁数は3桁だが、分子と分母を \(\log_{10}12=1.0791...≒1.08\)、\(\log_{10}2=0.30103...≒0.301\) のように3桁に丸めてしまうと、\(1.08÷0.301=3.588...≒3.59\) のように、小数第三位が誤った値になってしまう。
    正しい答えを求めるには、最終的な有効桁数より下まで残して \(1.079÷0.3010=3.584...≒3.58\) のようにする必要がある。
    いちいちそれぞれの値を計算するよりも、関数電卓に割り算も含めて入力したほうが手間が省けるうえに、確実に正確な値が出る。


  2. 12面体サイコロを1つ投げ、1~5の目のいずれかになった。
  3. この事象が起こる確率は \(p=5/12\) なので、

    \( \begin{eqnarray} I\left(\frac{5}{12}\right)&=&-\log\left(\frac{5}{12}\right)\cr &=&-\log\left(\left(\frac{12}{5}\right)^{-1}\right)\cr &=&\log\left(\frac{12}{5}\right)\cr &=&1.263...\\ &≒&1.26 \end{eqnarray} \)

    より情報量は1.26ビットになる。

    上の1行目と3行目を見比べると、真数 (カッコの中の数) が分数の形なら「分子と分母を逆にすればマイナスの符号がなくなる」ことがわかる。
    これを覚えておけば計算が楽になる。
    これも、下手に式を変形したりせずに、真数 (カッコの中の数) を分数の形で書いた方が簡単で正確。
    底を指定して対数を計算できる電卓なら単純に


    常用対数しか使えない場合でも、こうすれば正確に求められる。

  4. コインを4枚投げ、表が1枚、裏が3枚になった。
  5. コインを4枚投げた結果のパターンは全部で \(2^4=16\) 通り。
    表 → 0, 裏 → 1に置き換えて考えると、表が1枚、裏が3枚になるのは1110, 1101, 1011, 0111の4パターンあるので、この事象が起こる確率は \(p=4/16=1/4\) になる。よって

    \( \begin{eqnarray} I\left(\frac{1}{4}\right)&=&-\log\left(\frac{1}{4}\right)\\ &=&\log 4\\ &=&\log 2^2\\ &=&2\log 2\\ &=&2\times1\\ &=&2 \end{eqnarray} \)

    より情報量は2ビットになる。
    (単に「コイン2枚投げたときの結果と同じく確率が1/4なので情報量は2ビット」という答えでも正解)

  6. コインを4枚投げ、表が2枚、裏が2枚になった。
  7. 表 → 0, 裏 → 1に置き換えて考えると、表が2枚、裏が2枚になるのは1100, 0011, 0110, 1001, 1010, 0101の6パターンあるので、この事象が起こる確率は \(p=6/16=3/8\) になる。よって
    \( \begin{eqnarray} I\left(\frac{3}{8}\right)&=&-\log\left(\frac{3}{8}\right)\\ &=&\log\left(\frac{8}{3}\right)\cr &=&1.415...\cr &≒&1.42 \end{eqnarray} \)

    より情報量は1.42ビットになる。

書き方の全般的な注意

等しくないものをイコールでつながない
たまに「つなぎ」的な感じで記号「=」を使う人がいる。 今回の課題2の1番目で

\(p=\frac{1}{12}\)\(I\left(\frac{1}{12}\right)=-\log\left(\frac{1}{12}\right)...\)

とするのはもちろん誤り。これだと、1/12と3.58がほぼ等しいことになってしまう。
\(p\) と \(I\) は全く別のものなので、これらを「=」でつないではいけない。
話し言葉の「イコール」と同じ感覚で「=」を使わないこと。これが使えるのは厳密に等しいものをつなぐときだけ。

「=」と「≒」の使い分け
「=」は厳密に等しいもの、「≒」はほぼ等しいものをつなぐときに使う。
対数を小数に置き換えるときに「...」をつけて書くなら、右辺もまだ正確な値なので

\(\log 3\) \(1.5849...\)

とするのが正しい。四捨五入して下の桁を落とす場合は、左辺と右辺はほぼ等しいだけなので

\(1.5849...\) \(1.58\)

となる。