動画の解説を参照
通信路とは、送信者と受信者の間にある通信手段のことをいい、具体的にはLANケーブルやWi-Fiの電波などがこれにあたります。
通信路を通るのは 0 か 1 の情報ですが、実体をもった「0」「1」というものが存在するわけではないので、例えば
- 0を送りたいときは電圧を低くする
- 1を送りたいときは電圧を高くする
のようにして通信路を通れる形にします。通信路を通すとノイズの影響でこの波形に乱れが生じますが、受信者はたとえば
- ある時間間隔の電圧の平均が基準値以上なら 1
- ある時間間隔の電圧の平均が基準値未満なら 0
と解釈することで、もとの情報と同じ 0, 1 を取り出すことができます (このほかにもデジタル情報に変える方法はいろいろあります)。
ところが、まれにこの乱れが極端に大きくなり
のように、もともと 0 だったはずの信号が 1 に変わってしまう (またはその逆) ことがあります。このような現象を
変化と呼びます。
動画の解説を参照
通信路への入力と出力の関係を図で表わしたものを
通信路線図といいます。
通信路線図では左側に入力、右側に出力の値を書き、それらのありうる組み合わせをすべて矢印でつなぎます。
また、矢印に沿ってその確率を書きます。
はじめに最も一般的なケース、つまり入力が0, 1のどちらであっても変化が起こる通信路を考えてみましょう。
入力、出力の組み合わせについてそれぞれの確率を
- \(p_{00}\) : 入力が 0 で出力が 0 である確率 (変化しない)
- \(p_{01}\) : 入力が 0 で出力が 1 である確率 (変化)
- \(p_{10}\) : 入力が 0 で出力が 0 である確率 (変化)
- \(p_{11}\) : 入力が 0 で出力が 1 である確率 (変化しない)
のように書くと、通信路線図はこのようになります。
行列を使って通信路を以下のようにも表わすこともできます。これを
通信路行列といいます (一般に、行列は太字で書きます)。
\(
\boldsymbol{T}=
\begin{bmatrix}
p_{00} & p_{01} \\
p_{10} & p_{11}
\end{bmatrix}
\)
通信路線図からもわかるように、入力が 0 の場合には出力は 0, 1 のどちらかになるので
\(p_{00}+p_{01}=1\cdots(1)\)
が成り立ちます。同様に入力が 1 の場合の出力は 0, 1 のどちらかになるので以下の関係も成り立ちます。
\(p_{10}+p_{11}=1\cdots(2)\)
特に \(p_{01}=p_{10}=p\) のように 0 から 1, 1 から 0 への変化の確率が同じ通信路のことを
2元対称通信路といいます。
(1), (2)式から残りの確率を求めれば、通信路線図、通信路行列は以下のようになることがわかります。
\(
\boldsymbol{T}_1=
\begin{bmatrix}
1-p & p \\
p & 1-p
\end{bmatrix}
\)
4つの確率のうちいずれかが 0 になる場合は、通信路線図を描くときに注意が必要です。
矢印は「ありうる組み合わせ」だけについて描きます。例えば \(p_{10}=0\), \(p_{11}=1\)、つまり入力が 1 のときに変化が起こらない通信路だとこうなります。
通信路行列では、確率が 0 になる部分は空白にせずに普通に 0 を書きます。
\(
\boldsymbol{T}_2=
\begin{bmatrix}
p_{00} & p_{01} \\
0 & 1
\end{bmatrix}
\)
\(T_2\) のような通信路で、具体的に \(p_{01}=0.1\)
のように値が与えられているなら、(1)式から残りの確率もわかり、通信路線図、通信路行列はこうなります。
\(
\boldsymbol{T}_2=
\begin{bmatrix}
0.9 & 0.1 \\
0 & 1
\end{bmatrix}
\)
※ 準備 : 学籍番号を入れて「入力」をクリック (タップ) してください。
\(p_{00}\) =
, \(p_{11}\) =
の通信路の通信路線図を描いてください。
課題1解説
課題1の条件の通信路の通信路行列を書いてください (行列の名前は \(\boldsymbol{T}_3\) としてください)。
課題2解説
動画の解説を参照
情報源事象系 \(X\) で生成されたものが通信路に入力されると考えれば、「0が出力される」「1が出力される」という事象から事象系 \(Y\) を作ることができます。
\(X\) で 0, 1 が生成される確率を \(p_{x0}\), \(p_{x1}\)、\(Y\) で 0, 1 が出力される確率を \(p_{y0}\), \(p_{y1}\)とすると
\(
X=
\begin{bmatrix}
x_0 & x_1 \\
p_{x0} & p_{x1}
\end{bmatrix}
\)
\(
Y=
\begin{bmatrix}
y_0 & y_1 \\
p_{y0} & p_{y1}
\end{bmatrix}
\)
のように書けます。一方、通信路行列が
\(
\boldsymbol{T}=
\begin{bmatrix}
p_{00} & p_{01} \\
p_{10} & p_{11}
\end{bmatrix}
\)
なら、0 が出力されるのは
- 入力が 0 で(そうなる確率は \(p_{x0}\))、0 のまま変化しなかった (そうなる確率は \(p_{00}\))
- 入力が 1 で(そうなる確率は \(p_{x1}\))、0 に変化した (そうなる確率は \(p_{10}\))
の 2つのケースの合計で
\(p_{y0}=p_{x0}p_{00}+p_{x1}p_{10}・・・(3)\)
になります。
同様に、1 が出力されるのは
- 入力が 0 で(そうなる確率は \(p_{x0}\))、1 に変化した (そうなる確率は \(p_{01}\))
- 入力が 1 で(そうなる確率は \(p_{x1}\))、1 のまま変化しなかった (そうなる確率は \(p_{11}\))
の 2つのケースの合計で
\(p_{y1}=p_{x0}p_{01}+p_{x1}p_{11}・・・(4)\)
になります。
ところで、情報源事象系で 0, 1 が発生する確率を、
列ベクトル (1列しかない行列) で以下のように書くことができます。
\(\boldsymbol{p}_x=\begin{bmatrix}p_{x0}\\p_{x1}\end{bmatrix}\)
一方、\(\boldsymbol{T}\) の
転置行列 (縦横を逆にした行列) はこうなります。
\(\boldsymbol{T}^T=
\begin{bmatrix}
p_{00} & p_{10} \\
p_{01} & p_{11}
\end{bmatrix}
\)
行列の掛け算のルール (掛け算の左の行列を左から右に、右の行列を上から下に移動しながら要素をかけたものを足し合わせる) に従って \(\boldsymbol{T}^T\boldsymbol{p}_x\) を計算すれば、
\(
\begin{eqnarray}
&&\boldsymbol{T}^T\boldsymbol{p}_x\\
=&&
\begin{bmatrix}
p_{00} & p_{10} \\
p_{01} & p_{11}
\end{bmatrix}
\begin{bmatrix}p_{x0}\\p_{x1}\end{bmatrix}\\
=&&\begin{bmatrix}p_{x0}p_{00}+p_{x1}p_{10}\\p_{x0}p_{01}+p_{x1}p_{11}\end{bmatrix}
\end{eqnarray}
\)
となります。上の行、下の行の値はまさに (3), (4) 式の確率と同じ値です。つまり、「出力が0になる確率」「出力が1になる確率」で以下のような列ベクトルを定義すれば
\(\boldsymbol{p}_y=\begin{bmatrix}p_{x0}p_{00}+p_{x1}p_{10}\\p_{x0}p_{01}+p_{x1}p_{11}\end{bmatrix}\)
情報源事象系の確率、通信路行列、出力の事象系の確率は以下のように表せます。
\(\boldsymbol{p}_y=\boldsymbol{T}^T\boldsymbol{p}_x\)
情報源事象系が
\(X=\)
\(\Bigg{[}\)
\(\Bigg{]}\)
のときの、課題1, 2の通信路 \(\boldsymbol{T}_3\) を通った出力の事象系 \(Y\) を求めてください。
課題3解説