有噪信道编码定理 :
设离散无记忆信道 , 是信道传递概率,信道容量为 C 。当信息传输率 R < C 时,总可以找到一种编码,当码长 n 足够长时,译码平均错误概率任意小,即 P E < ε , ε 为任意大于零的正数。反之,当 R > C 时,任何编码的 P E 必大于零。
有噪信道编码定理的基本思路如下。
(1)连续使用信道多次,即在 n 次无记忆扩展信道中讨论,以便使大数定律有效。
(2)随机选取码字,也就是在 X n 和符号序列集中随机地选取经常出现的高概率序列作为码字。
(3)采用最大似然译码准则,也就是将接收序列译成与其距离最近的那个码字。
(4)在随机编码的基础上,对所有的码字计算其平均错误概率,当 n 足够大时,此平均错误概率趋于零,因此证明至少有一种好的编码存在。
与无失真信源编码定理类似,有噪信道编码定理也是一个理想编码的存在性定理,它指出信道容量是一个临界值,只要信息传输率不超过这个临界值,信道就可以做到几乎无失真地把信息传送过去,否则就会产生失真。对于连续信道,也有类似的结论。