解説動画
通信路とは、送信者と受信者の間にある通信手段のことをいい、具体的にはLANケーブルやWi-Fiの電波などがこれにあたる。
通信路を通るのは0か1の情報だが、実体をもった「0」「1」というものが存在するわけではないので、例えば
- 0を送りたいときは電圧を低くする
- 1を送りたいときは電圧を高くする
のようにして通信路を通れる形にする。通信路を通すとノイズの影響でこの波形に乱れが生じるが、受信者はたとえば
- ある時間間隔の電圧の平均が基準値以上なら1
- ある時間間隔の電圧の平均が基準値未満なら0
と解釈することで、もとの情報と同じ0, 1を取り出すことができる (このほかにもデジタル情報に変える方法はいろいろある)。
ところが、まれにこの乱れが極端に大きくなり
のように、もともと0だったはずの信号が1に変わってしまう (またはその逆) ことがある。このような現象を
変化と呼ぶ。
解説動画
通信路への入力と出力の関係を図で表わしたものを
通信路線図という。
通信路線図では左側に入力、右側に出力の値を書き、それらのありうる組み合わせをすべて矢印でつなぐ。
また、矢印に沿ってその確率を書く。
はじめに最も一般的なケース、つまり入力が0, 1のどちらであっても変化が起こる通信路を考える。
入力、出力の組み合わせについてそれぞれの確率を
- \(p_{00}\) : 入力が0で出力が0である確率 (変化しない)
- \(p_{01}\) : 入力が0で出力が1である確率 (変化)
- \(p_{10}\) : 入力が0で出力が0である確率 (変化)
- \(p_{11}\) : 入力が0で出力が1である確率 (変化しない)
のように書くと、通信路線図はこのようになる。
行列を使って通信路を以下のようにも表わすこともできる。これを
通信路行列という。
\(
T=
\begin{bmatrix}
p_{00} & p_{01} \\
p_{10} & p_{11}
\end{bmatrix}
\)
通信路線図からもわかるように、入力が0の場合には出力は0, 1のどちらかになるので
\(p_{00}+p_{01}=1\cdots(1)\)
が成り立つ。同様に入力が1の場合の出力が0, 1のどちらかになるので
\(p_{10}+p_{11}=1\cdots(2)\)
特に \(p_{01}=p_{10}=p\) のように0から1, 1から0への変化の確率が同じ通信路のことを
2元対称通信路
という。(1), (2)式から残りの確率を求めれば、通信路線図、通信路行列は以下のようになることがわかる。
 |
|
\(
T_1=
\begin{bmatrix}
1-p & p \\
p & 1-p
\end{bmatrix}
\)
|
4つの確率のうちいずれかが0になる場合は通信路線図を描くときに注意が必要。矢印は「ありうる組み合わせ」だけについて描く。例えば
\(p_{10}=0\)、つまり入力が1のときに変化が起こらない通信路だとこうなる (通信路行列では、確率が0になる部分には普通に0を書くだけ)。
 |
|
\(
T_2=
\begin{bmatrix}
p_{00} & p_{01} \\
0 & p_{11}
\end{bmatrix}
\)
|
さらに、(2)式から \(p_{11}=1\) であることがわかる。具体的に \(p_{01}=0.1\)
のように値が与えられているなら、(1)式から残りの確率もわかり、通信路線図、通信路行列はこうなる。
 |
|
\(
T_3=
\begin{bmatrix}
0.9 & 0.1 \\
0 & 1
\end{bmatrix}
\)
|
\(p_{00}=0.8\), \(p_{11}=0.7\) の通信路の通信路線図を描け。
課題1ヒント
-
問題文に書かれていない確率は (1), (2) 式から求める。
課題1の通信路の通信路行列 \(T_4\)を記述せよ。
課題2ヒント
解説動画
情報源事象系 \(X\) で生成されたものが通信路に入力されると考えれば、「0が出力される」「1が出力される」という事象から事象系 \(Y\) を作ることができる。
\(X\) で0, 1が生成される確率を \(p_0\), \(p_1\) とすると
\(
X=
\begin{bmatrix}
x_0 & x_1 \\
p_0 & p_1
\end{bmatrix}
\)
のように書ける。一方、通信路行列が
\(
T=
\begin{bmatrix}
p_{00} & p_{01} \\
p_{10} & p_{11}
\end{bmatrix}
\)
なら、0が出力されるのは
- 入力が0で(そうなる確率は \(p_0\))、0のまま変化しなかった(そうなる確率は \(p_{00}\))
- 入力が1で(そうなる確率は \(p_1\))、0に変化した(そうなる確率は \(p_{10}\))
の2つのケースの合計で、確率は \(p_0p_{00}+p_1p_{10}\) になる。
同様に、1が出力されるのは
- 入力が0で(そうなる確率は \(p_0\))、1に変化した(そうなる確率は \(p_{01}\))
- 入力が1で(そうなる確率は \(p_1\))、1のまま変化しなかった(そうなる確率は \(p_{11}\))
の2つのケースの合計で、確率は \(p_0p_{01}+p_1p_{11}\) になる。
つまり、出力の事象系は
\(
Y=
\begin{bmatrix}
y_0 & y_1 \\
p_0p_{00}+p_1p_{10} & p_0p_{01}+p_1p_{11}
\end{bmatrix}
\)
となる。
ところで、\(X, Y\) の下の行だけを取り出したものを \(P_x, P_y\) と置くと、
\(P_x=\begin{bmatrix}p_0, & p_1\end{bmatrix}\)
\(P_y=\begin{bmatrix}p_0p_{00}+p_1p_{10}, &p_0p_{01}+p_1p_{11}\end{bmatrix}\)
のように書ける。このような1行だけの行列のことを
行ベクトルといい、要素の区切りがわかりやすいように、行列としては例外的に要素間をコンマで区切って書く。
行列の掛け算のルール (掛け算の左の行列を左から右に、右の行列を上から下に移動しながら要素をかけたものを足し合わせる) に従って \(P_xT\) を計算すれば、
\(
\begin{eqnarray}
&&P_xT\\
=&&\begin{bmatrix}p_0, & p_1\end{bmatrix}
\begin{bmatrix}
p_{00} & p_{01} \\
p_{10} & p_{11}
\end{bmatrix}\\
=&&\begin{bmatrix}p_0p_{00}+p_1p_{10}, &p_0p_{01}+p_1p_{11}\end{bmatrix}
\end{eqnarray}
\)
となる。これはまさに上で求めた \(P_y\) に等しい。つまり、\(Y\) の下の行は行列の掛け算で求められる。
\(
P_y=P_xT
\)
情報源事象系が
\(
X=
\begin{bmatrix}
x_0 & x_1 \\
\frac{1}{2} & \frac{1}{2}
\end{bmatrix}
\)
であるとき、2元対称通信路 \(T_1=
\begin{bmatrix}
1-p & p \\
p & 1-p
\end{bmatrix}\) を通った出力の事象系 \(Y\) を記述せよ。
課題3ヒント
最終的な解の書き方に注意。問われているのは事象系 \(Y\) なので
\(
Y=
\begin{bmatrix}
y_0 & y_1 \\
? & ?
\end{bmatrix}
\)
の2行2列の行列の形で書く。
その下の部分 \(P_y\) は \(P_x=\begin{bmatrix}\frac{1}{2},&\frac{1}{2}\end{bmatrix}\) と \(T_1\) の積を計算すれば求められる。
入力も0, 1に対して対称、通信路も0, 1に対して対称な形をしているので、出力も0, 1に対して対称になるはず。つまり、出力が0になる確率と1になる確率は等しい。
情報源事象系 \(X\) が課題3と同じであるとき、通信路 \(T_3=
\begin{bmatrix}
0.9 & 0.1 \\
0 & 1
\end{bmatrix}\) を通った出力の事象系 \(Y\) を記述せよ。
課題4ヒント
今度は非対称になる。\(T_3\) に対応する通信路線図からもわかるように、1から0には変化しないが、0から1に変化することがある。入力ではどちらも同じ確率だったが、出力は1になる確率のほうが大きいはず。
また、\(Y\) も事象系なので2つの確率の和は1になる (そうなっていなければ計算を間違えたことになる)。
ノート・紙に解いた課題を撮影したものを以下のフォームから送信してください。
課題提出用フォーム
※ 締切は11/9(土) 正午です。提出によって出席・点数がつきます。