对称波道

在信息论中，对称波道是传递函数具有某种对称性的波道。它定义为具有有限输入和输出符号集分别为 ${\mathcal {Y}}$ 和 ${\mathcal {Y}}={\tilde {\mathcal {Y}}}$，由转移概率矩阵 $\{q(y,{\tilde {y}}):\Box y,{\tilde {y}}\in {\mathcal {Y}}\}$ 定义的齐次离散时间无记忆波道。

$q(y,{\tilde {y}})={\begin{cases}q,&{\text{where }}y={\tilde {y}}\\{\frac {1-q}{n-1}},&{\text{where }}y\neq {\tilde {y}}\end{cases}}$

(*)

其中 $n$ 为 ${\mathcal {Y}}$ 中元素的个数，无记忆对称波道研究最多的一个例子就是二进制对称波道，其转移概率矩阵为

${\begin{Vmatrix}q&1-q\\1-q&q\end{Vmatrix}}$

对于对称波道而言，有很多重要的信息论特性可以准确计算或者比非对称波道的计算更容易很大程度上简化。例如，对于一个具有(*)形式的，矩阵为 $\{q(y,{\tilde {y}}):\Box y,{\tilde {y}}\in {\mathcal {Y}}\}$ 的无记忆对称波道，其波道容量 $C$ 由下式给出

$C=\log n+q\log q+(1-q)\log {\frac {1-q}{n-1}}.$

参考文献

• Dobrushin, R.L.; Prelov, V.V., Symmetric channel, Hazewinkel, Michiel (编), 数学百科全书, Springer, 2001, ISBN 978-1-55608-010-4 
• R.C. Gallager, "Information theory and reliable communication" , Wiley (1968)