::: {#efcc .section .section .section—body .section—first .section—last} ::: section-divider
:::
::: section-content ::: {.section-inner .sectionLayout—insetColumn}
020.信息论创始人------克劳德·香农 {#f029 .graf .graf—h3 .graf—leading .graf—title name=“f029”}
今天要求介绍的这位是个大牛，信息论的创始人，他就是克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916年4月30日－2001年2月26日），美国数学家、电子工程师和密码学家，被誉为信息论的创始人。
1932香农进入密歇根大学学习，在大学的一门课程中接触到了乔治·布尔的理论。1936年大学毕业时，香农获得了两个学士学位：电子工程学士和数学学士。不久，香农进入麻省理工学院开始研究生学习，参与了万尼瓦尔·布什的微分分析机（Differential Analyzer）的相关工作。微分分析机是一种模拟计算机，是现代电脑的鼻祖。
在研究微分分析机的自组织（ad hoc）电路时，香农发现引入布尔理论的概念会带有很大的好处。在1937年硕士论文的基础上，香农在1938年发行的Transactions of the American Institute of Electrical Engineers上发表了著名论文”A Symbolic Analysis of Relay and Switching Circuits”。由于这篇论文，香农于1940年被授予美国Alfred Noble协会美国工程师奖。哈佛大学的哈沃德·加德纳称香农的硕士论文”可能是本世纪最重要、最著名的硕士学位论文”。在这篇论文中，香农证明了布尔代数和二进制算术可以简化当时在电话交换系统中广泛应用的机电继电器的设计。然后，香农扩展了这个概念，证明了基于机电继电器的电路能用于模拟和解决布尔代数问题。
用电子开关模拟布尔逻辑运算是现代电子计算机的基本思路，香农的工作成为数字电路设计的理论基石，完全取代了之前盛行的ad hoc方法。Vannevar Bush建议香农将类似的数学方法应用于孟德尔遗传学，香农接受了这个建议，写出了An Algebra for Theoretical Genetics。凭此论文，香农于1940年获得麻省理工学院博士学位。
1940年，香农成为普林斯顿高等研究院的研究员。在那里香农有很多机会与当时有影响力的科学家和数学家交流，比如阿尔伯特·爱因斯坦、赫尔曼·外尔和约翰·冯·诺伊曼，现代信息论的思想逐渐在他脑海中成型。
二战期间，香农加入贝尔实验室，研究火力控制系统和密码学，相关课题直属国防研究委员会领导。1943年，香农有机会和英国数学家和密码学家艾伦·图灵合作。图灵被派到华盛顿和美国海军交流破译德国的北大西洋潜艇舰队密码的成果，并在贝尔实验室待了一段时间。香农和图灵在一个自助餐厅见面。图灵向香农介绍了现在被称为”通用图灵机”的概念。香农对此很感兴趣，因为图灵机的概念和香农自己的很多想法相吻合。
1945年，战争进入尾声，国防研究委员会NDRC的使命即将结束。在正式解散之间，NDRC决定将重要研究成果整理成册，其中有一篇论文”火力控制系统的数据平滑和数据预测”是香农和Ralph Beebe Blackman、Hendrik Wade Bode一起写的，它的思路和”通信系统中将信号和噪声相分离”是类似的，也就是说，香农在火力控制系统研究中已经发现了后来成为信息论的基本概念和框架体系。
战时香农在密码学领域的研究与通信领域的关系更加密切。1945年，香农向贝尔实验室提交了一份备忘录，题目是”密码学的一个数学理论”，之后在1949年以”保密系统的通信理论”的标题在Bell System Technical Journal正式发表，包含了很多在”通信的一个数学理论”出现的概念和数学公式。香农说，战时对通信理论和密码学的研究使他认识到”两者密不可分”。
还是在贝尔实验室，香农证明了一次性密钥（cryptographic one-time pad）是无法被破译的。香农同时证明了一个无法被破译的密码系统的密钥必须有以下特征：完全随机；不能重复使用；保密；和明文一样长。
1948年，划时代的”通信的一个数学理论”分成两部分，在7月和10月的Bell System Technical Journal发表。文章系统论述了信息的定义，怎样数量化信息，怎样更好地对信息进行编码。在这些研究中，概率理论是香农使用的重要工具。香农同时提出了信息熵的概念，用于衡量消息的不确定性。
1949年，香农和Warren Weaver合著了”通信的数学理论”，包含了香农1948年的论文”通信的一个数学理论”和Warren Weaver为非专业人士写的介绍通信理论的内容。Warren Weaver指出，在信息论中”information”这个词不是指”你说了什么”，而是指”你能够说什么”，也就是说，信息表示人们可有多少选择。之后，John Robinson Pierce在”Symbols, Signals, and Noise”这本书中也对香农的概念作了通俗的介绍。
1951年，香农写了”Prediction and Entropy of Printed English”，说明信息基础理论能够应用于自然语言和计算机语言，计算了英语这门语言的熵，从而为从统计的角度分析语言打下了基础。而且，香农认为如果把空格当作英语字母表上的第27个字母，能够降低提取英语处理的不确定性。
数学通信的基础理论 --- --- 抽样分析理论 --- --- 的提出也有香农的贡献。抽样分析理论将连续的模拟信号抽样成离散的数字信号，为20世纪60年代之后数字通信的兴起奠定了基础。
2016.1.20 ::: ::: :::