信息论形成的背景与基础

人们对于信息的认识和利用,可以追溯到古代的通信实践,这些是传递信息的原始方式。随着社会生产的发展、科学技术的进步,人们对传递信息的要求急剧增加。到了20世纪20年代,如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家奈奎斯特、德国屈普夫米勒、前苏联科尔莫戈罗夫和英国赛希尔等人,从不同角度研究信息,为建立信息论做出了很大贡献。

信息论是人们在长期的通信工程实践中,由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家香农(被称为“信息论之父”),他在1948年发表了著名的论文《通信的数学理论》,这篇论文以概率论为工具,深刻阐述了通信工程的一系列基本理论问题,给出了计算信源信息量和信道容量的方法和一般公式,得到了一组表征信息传输关系的编码定理。香农在进行信息的定量计算时,明确地把信息量定义为随机不确定性程度的减少。这表明了他对信息的理解:信息是用来减少随机不确定性的东西。随机不确定性是指由于随机因素所造成的不能肯定的情形,在数值上可以用概率熵来计量。1949年香农又发表了《噪声中的通信》,这些论文为信息论奠定了理论基础。

美国数学家、控制论的主要奠基人维纳在1950年出版的《控制论与社会》一书中对信息的理解是:“人通过感觉器官感知周围世界”,“我们支配环境的命令就是给环境的一种信息”,因此,“信息就是我们在适应外部世界,并把这种适应反作用于外部世界的过程中,同外部世界进行交换的内容的名称”。“接收信息和使用信息的过程,就是我们适应外界环境的偶然性的过程,也是我们在这个环境中有效地生活的过程”。这些是把信息理解为广义通信的内容。

1956年法裔美国科学家布里渊(Brillouin)在他的名著《科学与信息论》中直接了当地指出:信息就是负熵,并且他还创造了Negentropy这一词(由Negative和Entropy合成)来表示负熵的概念。

20世纪70年代以后,随着计算机的广泛应用和社会信息化的迅速发展,信息论正逐渐突破香农狭义信息论的范围,发展成为一门不仅研究语法信息,而且研究语义信息和语用信息的科学。随着信息理论的迅猛发展和信息概念的不断深化,信息论所涉及的内容早已超越了狭义的通信工程范畴,进入了信息科学领域。

版权声明:本篇文章(包括图片)来自网络,由程序自动采集,著作权(版权)归原作者所有,如有侵权联系我们删除,联系方式(QQ:452038415)。http://www.apmygs.com/2108.html
返回顶部