第1回 情報量

情報量の定義

概要

情報の量を具体的な数値で表すものとして情報量が使われる。
情報量は、ある事象 (出来事) の結果を知ることで増える量で、以下の性質をもつ。
  1. 起こりにくいものについての情報量の方が、起こりやすいものよりも大きい
  2. 無関係な2つの事象の結果を両方知って得られる情報量は、それぞれ知ったことによって増えた情報量を足したものになる (情報の加法性)
確率 \(p\) で起こる事象の情報量 \(I(p)\) を

\(I(p) = -K\log_e p \cdots(1)\)

と定義すれば、この2つの性質を満たす (ここで \(K\) は正の定数、\(e\) は自然対数の ( てい ) もしくはネイピア数と呼ばれるもので、具体的な値は2.718...)。
\(\log_e p\) は \(p\) の単調増加関数で、\(p=1\) で0になる。

そのため、これに \(-1\) をかけたものは \(p\) の単調減少関数で、\(p=1\) で0になる。さらに正の定数 \(K\) をかけてもこの傾向は変わらない。これで1番目の性質が満たされる。

また、無関係な2つの事象 \(x, y\) が起こる確率を \(p_x, p_y\) とすると、\(x\) と \(y\) が両方とも起こる確率は単純にそれらをかけた \(p_xp_y\) なので、両方とも起こるという一つの事象に関わる情報量は \(I(p_xp_y)=-K\log_e (p_xp_y)\) となる。
一方、対数は以下の性質を持つ。
\(a, b, c\) が正の数のとき、以下の関係が常に成り立つ。
  1. \(\log_a1=0\)
  2. \(\log_aa=1\)
  3. \(\log_ab^c = c\log_a b\)
  4. \(\log_ab = \frac{\log_cb}{\log_ca}\)
  5. \(\log_a\left(bc\right) = \log_ab + \log_ac\)

このうち5番目の式で \(a\) → \(e\)、\(b\) → \(p_x\)、\(c\) → \(p_y\) と置き換えれば、\(\log_e(p_xp_y)=\log_ep_x+\log_ep_y\) になるので、\(I(p_xp_y)=-K\log_ep_x-K\log_ep_y\) となる。
\(x\) に関わる情報量は \(I(p_x)=-K\log_e p_x\)、\(y\) に関わる情報量は \(I(p_y)=-K\log_e p_y\) なので、結局 \(I(p_xp_y)=I(p_x)+I(p_y)\) となり、2つ目の条件が満たされる。

\(K\) は正の値であれば本質的な違いはないが、\(K=\frac{1}{\log_e2}\) とすると(1)式は \(I(p) = -\frac{\log_ep}{\log_e2}\) という形になり、対数の性質の4番目を使えば次の形になる。\(K\) をこの値に設定した場合の情報量の単位はビットで、ほとんどの場合はこの単位が使われる。

\(I(p) = -\log_2p \cdots(2)\)


\(K=1\) とすると(1) 式は \(I(p) = -\log_ep\) になる。この場合の情報量の単位はナット(nat) という (自然対数は natural logarithm)。
\(K=\frac{1}{\log_e10}\) とすると(1) 式は \(I(p) = -\log_{10}p\) になる。この場合の情報量の単位はデシット(decit) という (decimal(10進数の) unit(単位))。
物理学では自然対数 (底が \(e\))、工業系では常用対数 (底が \(10\)) がよく使われる。

この授業では (2) 式の定義を使う。この場合対数の底は常に2なので、一般的な情報理論の慣例に従い、それを省略して

\(I(p) = -\log p \cdots(3)\)

のように書く。

これを踏まえて、実例を使って情報量の具体的な値を計算してみる。
例えば偏りのないコインを1枚投げたとき、「表」「裏」の2通りの結果がありうる。
コインに偏りがなければ、表・裏のどちらになる確率も1/2なので、「表が出た」「裏が出た」という事象に関わる情報量はどちらも \(I(1/2)=-\log(1/2)\) となる。
\(1/2=2^{-1}\) なので、対数の性質の3番目を使えば \(I(1/2)=-(-1)\log2=\log2\) となる。
さらに (表記が省略されている底は2なので) 対数の性質の2番目を使えば \(I(1/2)=\log_22=1\) となる。
要するに、コイン1枚を投げた結果に関わる情報量は1ビットになる。

コインを2枚同時に投げると、「表表」「表裏」「裏表」「裏裏」の4通りの結果があり、これらに対応する事象が起こる確率はどれも1/4になる。
それらに関わる情報量は \(I(1/4)=-\log(1/4)\) で、\(1/4=2^{-2}\) であることと、対数の性質の3番目を使えば \(I(1/4)=2\log2\) となる。
上で見たように \(\log2=1\) なので、結局 \(I(1/4)=2\) となる。 要するに、コイン2枚を投げた結果に関わる情報量は2ビットになる。

コイン2枚の場合の情報量は、情報の加法性を使って考えても得られる。
つまり、1枚目のコインの結果に関わる情報量が1ビット、2枚目のコインの結果に関わる情報量が1ビットなので、トータルではそれらを加えた2ビットになると考えることができる。

課題1

偏りのないコインを5枚投げた場合について、以下の問いに答えよ。
  1. 事象は全部で何通りあるか。
  2. 5枚のコインがすべて表になる確率はいくらか。
  3. 5枚のコインがすべて表になるという事象にかかわる情報量は何ビットか。

それぞれのコインで出た結果を表 → 0, 裏 → 1のように置き換えて考えれば、事象は00000~11111までの2進数に対応させられる。

情報量の一般化

概要

偏りのないコインを例にして考えたケースでは情報量はいずれも整数になったが、一般には整数になるとは限らない。
たとえば表が60%, 裏が40%の確率で出るコインでは、表が出るという事象に関わる情報量は \(I(0.6)=-\log(0.6)=0.736...\)、裏が出るという事象に関わる情報量は \(I(0.4)=-\log(0.4)=1.321...\) となる。

スマホのアプリなどを使って計算するときは、底を2にすることに注意。例えば「真・関数電卓」で \(\log_212\) を求めるなら「関数」タブから図のように選んで入力する。

(底を選べるアプリを使った方が早いが) 自然対数や常用対数しか使えない場合は、対数の性質の4番目を使って換算する。
Excelではセルに「=-LOG(0.6, 2)」と入力すれば \(-\log(0.6)\) の値が得られる。

課題2

以下の事象に関わる情報量を求めよ。ただし、結果は四捨五入して小数第二位までにし、単位も忘れずに書くこと。
  1. 12面体サイコロを1つ投げ、1の目が出た。
  2. 12面体サイコロを1つ投げ、1~5の目のいずれかになった。
  3. コインを4枚投げ、表が1枚、裏が3枚になった。
  4. コインを4枚投げ、表が2枚、裏が2枚になった。

提出

ノート・紙に解いた課題を撮影したものを以下のフォームから送信してください。
課題提出用フォーム
※ 締切は9/14(土) 正午です。提出によって出席・点数がつきます。