科技: 人物 企业 技术 IT业 TMT
科普: 自然 科学 科幻 宇宙 科学家
通信: 历史 技术 手机 词典 3G馆
索引: 分类 推荐 专题 热点 排行榜
互联网: 广告 营销 政务 游戏 google
新媒体: 社交 博客 学者 人物 传播学
新思想: 网站 新书 新知 新词 思想家
图书馆: 文化 商业 管理 经济 期刊
网络文化: 社会 红人 黑客 治理 亚文化
创业百科: VC 词典 指南 案例 创业史
前沿科技: 清洁 绿色 纳米 生物 环保
知识产权: 盗版 共享 学人 法规 著作
用户名: 密码: 注册 忘记密码?
    创建新词条
科技百科——欢迎光临全球最大的互联网博物馆
  • 人气指数: 24389 次
  • 编辑次数: 7 次 历史版本
  • 更新时间: 2013-02-14
admin
admin
发短消息
高兴
高兴
发短消息
相关词条
克劳德·香农
克劳德·香农
本拉登死讯Twitter传播
本拉登死讯Twitter传播
流行语传播模型
流行语传播模型
半岛电视台效应
半岛电视台效应
媒介环境学
媒介环境学
媒介环境学学术起源简史
媒介环境学学术起源简史
微博客新闻传播特征
微博客新闻传播特征
人肉搜索传播特质
人肉搜索传播特质
互联网民意草根传播模型
互联网民意草根传播模型
霍尔模式
霍尔模式
推荐词条
希拉里二度竞选
希拉里二度竞选
《互联网百科系列》
《互联网百科系列》
《黑客百科》
《黑客百科》
《网络舆情百科》
《网络舆情百科》
《网络治理百科》
《网络治理百科》
《硅谷百科》
《硅谷百科》
桑达尔·皮查伊
桑达尔·皮查伊
阿里双十一成交额
阿里双十一成交额
王健林电商梦
王健林电商梦
陌陌IPO
陌陌IPO
最新词条

热门标签

微博侠 数字营销2011年度总结 政务微博元年 2011微博十大事件 美国十大创业孵化器 盘点美国导师型创业孵化器 盘点导师型创业孵化器 TechStars 智能电视大战前夜 竞争型国企 公益型国企 2011央视经济年度人物 Rhianna Pratchett 莱恩娜·普莱契 Zynga与Facebook关系 Zynga盈利危机 2010年手机社交游戏行业分析报告 游戏奖励 主流手机游戏公司运营表现 主流手机游戏公司运营对比数据 创建游戏原型 正反馈现象 易用性设计增强游戏体验 易用性设计 《The Sims Social》社交亮 心理生理学与游戏 Kixeye Storm8 Storm8公司 女性玩家营销策略 休闲游戏的创新性 游戏运营的数据分析 社交游戏分析学常见术语 游戏运营数据解析 iPad风行美国校园 iPad终结传统教科书 游戏平衡性 成长类型及情感元素 鸿蒙国际 云骗钱 2011年政务微博报告 《2011年政务微博报告》 方正产业图谱 方正改制考 通信企业属公益型国企 善用玩家作弊行为 手机游戏传播 每用户平均收入 ARPU值 ARPU 游戏授权三面观 游戏设计所运用的化学原理 iOS应用人性化界面设计原则 硬核游戏 硬核社交游戏 生物测量法研究玩家 全球移动用户 用户研究三部曲 Tagged转型故事 Tagged Instagram火爆的3大原因 全球第四大社交网络Badoo Badoo 2011年最迅猛的20大创业公司 病毒式传播功能支持的游戏设计 病毒式传播功能 美国社交游戏虚拟商品收益 Flipboard改变阅读 盘点10大最难iPhone游戏 移动应用设计7大主流趋势 成功的设计文件十个要点 游戏设计文件 应用内置付费功能 内置付费功能 IAP功能 IAP IAP模式 游戏易用性测试 生理心理游戏评估 游戏化游戏 全美社交游戏规模 美国社交游戏市场 全球平板电脑出货量 Facebook虚拟商品收益 Facebook全球广告营收 Facebook广告营收 失败游戏设计的数宗罪名 休闲游戏设计要点 玩游戏可提高认知能力 玩游戏与认知能力 全球游戏广告 独立开发者提高工作效率的100个要点 Facebook亚洲用户 免费游戏的10种创收模式 人类大脑可下载 2012年最值得期待的20位硅谷企业家 做空中概股的幕后黑手 做空中概股幕后黑手 苹果2013营收 Playfish社交游戏架构

克劳德·香农 发表评论(0) 编辑词条

(图)克劳德·香农
克劳德·香农
克劳德·艾尔伍德·香农(Claude Elwood Shannon,1916年4月30日-2001年2月26日),美国数学家、信息论的创始人。密西根大学学士,麻省理工学院博士。

克劳德·香农,美国数学家,信息论的创始人。1916年4月30日出生于美国密歇根州的加洛德(Petoskey),1936年毕业于密歇根大学并获得数学和电子工程学士学位,1940年获得麻省理工学院(MIT)数学博士学位和电子工程硕士学位。

1941年他加入贝尔实验室数学部,工作到1972年。1956年他成为麻省理工学院(MIT)客座教授,并于1958年成为终生教授,1978年成为名誉教授。

香农博士于2001年2月26日去世,享年84岁。今天,我们怀念香农,要熟悉他的两大贡献:一是信息理论、信息熵的概念;另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、追求完美、永不满足的科学精神,这是他获得成功的重要经验。

译名
ClaudeElwoodShannon是美国应用数学家,信息论的创始人。他的名字译为中文理应遵从“名从主人”和“约定俗成”的原则,但到目前为止仍有译为“申农”、“香农”、“山农”、“仙农”的。一、译为“申农”1.倪海曙主编的《语言文字的信息处理》中说,信息论的奠基人是申农(知识出版社,1982年)。2.王崇德在《两信学术先驱,一门现代科学》一文中(《情报理论与实践》,1988年,第6期)译为“申农”。3.马洪、孙尚清主编的《现代管理百科全书》(中国发展出版社,1991年)中译为“申农”。4.王绍平编著的《图书情报词典》(汉语大词典出版社,1990年)中译为“申农”,又说译为“香农”、“仙农”,美国数学家,信息论创始人。二、译为“山农”王潼在《提高信息意识,努力开发信息源》《信息经济与技术》,1993年,第4期)一文中译为“山农”。三、译为“仙农”1.在《现代电子科学技术词典》(电子工业出版社,1992年)中称,“信息论是1948年由美国C.E.仙农所著论文‘通信的数学理论,奠基的。”
目录

[显示全部]

人物介绍编辑本段回目录

(图)克劳德·香农
克劳德·香农
克劳德·香农(Claude Elwood Shannon,1916-2001)

1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大,当时镇里只有三千居民。父亲是该镇的法官,他们父子的姓名完全相同,都是Claude Elwood Shannon。母亲是镇里的中学校长,姓名是Mabel Wolf  Shannon。他生长在一个有良好教育的环境,不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家,发明过洗衣机和许多农业机械,这对香农的影响比较直接。此外,香农的家庭与大发明家爱迪生(Thomas Alva Edison,1847-1931)还有远亲关系。

香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后,香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚,他们是在贝尔实验室相识的,玛丽当时是数据分析员。他们共有四个孩子:三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。

2001年2月24日,香农在马萨诸塞州Medford辞世,享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基人。

1936年香农在密西根大学获得数学与电气工程学士学位,然后进入MIT念研究生。

1938年香农在MIT获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”

1940年香农在MIT获得数学博士学位,而他的博士论文却是关于人类遗传学的,题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛,后来他在不同的学科方面发表过许多有影响的文章。

在读学位的同时,他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机,用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论),他写道:“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件,有些条件可以生成一个或多个变量的函数,有些条件可使常微分方程得到解。还给出了一些注意事项,给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。”

1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司,并在贝尔实验室工作到1972年,从24岁到55岁,整整31年。1956年他当了MIT的访问教授,1958年成为正式教授,1978年退休。

学术工作编辑本段回目录

(图)克劳德·香农
克劳德·香农论文集
人们描述香农的生活,白天他总是关起门来工作,晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到:“我们大家都带着午饭来上班,饭后在黑板上玩玩数学游戏,但克劳德很少过来。他总是关起门来工作。但是,如果你要找他,他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才,在我认识的人中,我只对他一人使用这个词。”

香农与John Riordan一起工作,1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon,1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。

在漫长的岁月,他思考过许多问题。除在普林斯顿高等研究院工作过一年外,主要都在MIT和Bell Lab度过。需要说明的是,在二次世界大战时,香农博士也是一位著名的密码破译者(这使人联想到比他大4岁的图灵博士)。他在Bell Lab的破译团队主要是追踪德国飞机和火箭,尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论),正是基于这种工作实践,它的意义是使保密通信由艺术变成科学。

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver,1894-1978)当时是洛克菲勒基金会自然科学部的主任,他为文章写了序言。后来,香农仍然从事技术工作,而威沃则研究信息论的哲学问题。

这篇奠基性的论文是建立在香农对通信的观察上,即“通信的根本问题是报文的再生,在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科,给出了通信系统的线性示意模型,即信息源、发送者、信道、接收者、信息宿,这是一个新思想。此后,通信就考虑为把电磁波发送到信道中,通过发送1和0的比特流,人们可以传输图像、文字、声音等等。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功,并刺激了信息时代所需要的技术发展。

香农考虑的信息源,产生由有限符号组成的词。它们通过信道进行传输,每个符号开销有限的信道时间。这里涉及到统计学问题,如果xn是第n个符号,它是由固定随机过程源xn产生的,香农给出一个分析信号误差序列的方法,它是传输系统固有的,可以通过设计相应的控制系统控制它。

在这篇论文中,香农首次引入“比特”(bit)一词,如果在信号中附加额外的比特,就能使传输错误得到纠正。按照物理学的习惯,把电流单位叫做“安培”,如果给“比特流”一个单位名,那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化,对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用,大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来,成为科学史上光辉灿烂的一页。后来,香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道:“信息理论可能像一个升空的气球,其重要性超过了它的实际成就”。

获奖与荣誉编辑本段回目录

(图)克劳德·香农
克劳德·香农——信息论之父
美国Alfred Noble协会美国工程师奖 1940年

Morris Liebmann 无线电工程师协会Memorial奖章 1949年

耶鲁大学 (首席科学家) 1954年

Stuart Ballantine弗兰克林协会奖章 1955年

研究合作奖 1956年

密歇根大学 荣誉博士 1961年

莱斯大学 荣誉奖章1962年

普林斯顿大学 荣誉博士 1962年

Marvin J. Kelly Award 1962年

爱丁堡大学 荣誉博士 1964年

匹兹堡大学 荣誉博士 1964年

电子电气工程师协会 荣誉奖章 1966年

美国国家科学奖章 1966年 由前总统Lyndon B. 约翰逊颁发

Golden Plate Award 1967年

美国西北大学,荣誉博士 1970年

Harvey Prize,the Technion of Haifa,,以色列 1972年

牛津大学 荣誉博士 1978年

Joseph Jacquard奖 1978年

Harold Pender奖 1978年

东英格伦大学, 荣誉博士 1982年

卡内基梅隆大学 荣誉博士 1984年

美国声频技术协会 金奖 1985年

Kyoto Prize 1985年

塔夫斯大学 荣誉博士 1987年

宾夕法尼亚大学 荣誉博士 1991年

Eduard Rhein Prize 1991年

主要贡献编辑本段回目录

克劳德·香农(图)《通讯的数学原理》
《通讯的数学原理》
香农在普林斯顿高级研究所(The Institute for Advanced Study at Princeton)期间,开始思考信息论与有效通信系统的问题。从1948年6月到10月,香农在《贝尔系统技术杂志》(Bell System Technical Journal)上连载发表了影像深远的论文《通讯的数学原理》。1949年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农解决了过去许多悬而未决的问题:阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的基础性理论著作。那时,他才不过刚刚三十出头。

香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学化学生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴,即从香农的所谓“狭义盾息论”发展到了“广义信息论”。 香农一鸣惊人,成了这门新兴学科的奠基人。20世纪80年代以来,当人们在议论未来的时候,人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法,未来将是一个高度信息化的社会。信息工业将发展成头号工业,社会上大多数的人将是在从事后息的生产、加工和流通。这时,人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说,将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室,为更多的人所熟悉和了解。

香农被尊称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学原理》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中,香农给出了的定义:(图)克劳德·香农

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵的概念量度的是消息中所含的信息量,而去除了消息中固有结构所决定的部分,比如,语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

信息论中熵的概念与物理学中的熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为:(图)克劳德·香农

其中 H(X,Y) 是共有熵(Joint Entropy),其定义为:(图)克劳德·香农

香农三大定理编辑本段回目录


  香农三大定理是信息论的基础理论。香农三大定理是存在性定理,虽然并没有提供具体的编码实现方法,但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理。香农第二定理是有噪信道编码定理。香农第三定理是保失真度准则下的有失真信源编码定理。具体如下:

  一:香农第一定理(可变长无失真信源编码定理) 

  设信源S的熵[shāng]H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。

  二:香农第二定理(有噪信道编码定理)

  设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找到M (M<=2^(N(C-a))),a为任意小的正数)个码字,分别代表M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

  三:香农第三定理(保失真度准则下的有失真信源编码定理)

  设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]},而编码后码的平均失真度D'(W)<=D+a。

评价:信息论及数字通信时代的奠基人编辑本段回目录

    克劳德·香农(ClaudeElwoodShannon,1916-2001)于1916年4月30日出生在美国密西根州的伽娄德(Gaylord)小镇,当时镇里只有三千居民。香农的父亲是该镇的法官,母亲是镇里的中学校长。他生长在一个有良好教育的环境,不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家,发明过洗衣机和许多农业机械,这对香农的影响比较直接。此外,香农的家庭与大发明家爱迪生(ThomasAlvaEdison,1847-1931)还有远亲关系。  
  香农的两大贡献:一是信息理论、信息熵的概念;另一是符号逻辑和开关理论。香农的信息论为明确什么是信息量概念作出决定性的贡献。 

 
  1936年香农在密西根大学获得数学与电气工程学士学位,然后进入MIT念研究生。1938年香农在MIT获得电气工程硕士学位,硕士论文题目是《继电器与开关电路的符号分析》。当时他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的HowardGardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。  
  1940年香农在MIT获得数学博士学位,而他的博士论文却是关于人类遗传学的,题目是《理论遗传学的代数学》。说明香农的兴趣十分广泛,后来他在不同的学科方面发表过许多有影响的文章。在读学位的同时,他还用部分时间跟温尼法·布什教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机,用于获得常微分方程的数值解。1941年香农发表了《微分分析器的数学理论》,他写道:“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件,有些条件可以生成一个或多个变量的函数,有些条件可使常微分方程得到解。还给出了一些注意事项,给出求函数的近似值、求调整率的近似值以及自动控制速率的方法。”  
  1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司,并在贝尔实验室工作到1972年,从24岁到55岁,整整31年。香农与JohnRiordan一起工作,1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪1892年在Electrician上发表的论文理论。1948年香农在发表了《通讯的数学理论》,创立了信息论。  
  在二次世界大战时,香农博士也是一位著名的密码破译者(这使人联想到比他大4岁的图灵博士)。他在贝尔的破译团队主要是追踪德国飞机和火箭,尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《保密系统的通信理论》,正是基于这种工作实践,它的意义是使保密通信由艺术变成科学。
  
  熵的概念  
  香农理论的重要特征是熵(entropy)的概念,他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念,我们可以把它理解为分子运动的混乱度。信息熵也有类似意义,例如在中文信息处理时,汉字的静态平均信息熵比较大,中文是9.65比特,英文是4.03比特。这表明中文的复杂程度高于英文,反映了中文词义丰富、行文简练,但处理难度也大。信息熵大,意味着不确定性也大。因此我们应该深入研究,以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字,从而引申出汉字最容易处理的错误结论。  
  众所周知,质量、能量和信息量是三个非常重要的量。人们很早就知道用秤或者天平计量物质的质量,而热量和功的关系则是到了19世纪中叶,随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称,而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。然而,关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么,它们如何统一地计量,直到19世纪末还没有被正确地提出来,更谈不上如何去解决了。  
  20世纪初期,随着电报、电话、照片、电视、无线电、雷达等的发展,如何计量信号中信息量的问题被隐约地提上日程。1928年哈特利(R.V.H.Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同,而且是完全随机选取的,就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用NlogD这个量表示信息量,即I=NlogD。这里的log表示以10为底的对数。后来,1949年控制论的创始人维纳也研究了度量信息的问题,还把它引向热力学第二定律。但是就信息传输给出基本数学模型的核心人物是香农。1948年香农长达数十页的论文《通信的数学理论》成了信息论正式诞生的里程碑。在他的通信数学模型中,清楚地提出信息的度量问题,他把哈特利的公式扩大到概率pi不同的情况,得到了著名的计算信息熵H的公式:
  
    H=∑-pilogpi
  
  如果计算中的对数log是以2为底的,那么计算出来的信息熵就以比特(bit)为单位。今天在计算机和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。  
  香农最初的动机是把电话中的噪音除掉,他给出通信速率的上限,这个结论首先用在电话上,后来用到光纤,现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话,都与通信信道质量的改善密切相关。  
  香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。人们描述香农的生活,白天他总是关起门来工作,晚上则骑着他的独轮车来到贝尔实验室。他的同事D.Slepian说:“我们大家都带着午饭来上班,饭后在黑板上玩玩数学游戏,但克劳德很少过来。他总是关起门来工作。但是,如果你要找他,他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才,在我认识的人中,我只对他一人使用这个词。”  
  克劳德·香农在公众中并不特别知名,但他是使我们的世界能进行即时通信的少数科学家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他获得的荣誉学位不胜枚举。  
  贝尔实验室和MIT都尊崇香农为信息论及数字通信时代的奠基人。是他将布尔代数的“真”与“假”电路的“开”与“关”对应起来,并用1和0表示。这是从理论转换到实际产品设计的一个重要的环节。

香农的信息论编辑本段回目录

    第二次世界大战期间跨学科研究繁盛,这种理论上的相得益彰对于创造信息技术的新浪潮来说,意义重大。影响最为深远的科学突破之一是香农的信息论,它是我们今天对于传播的主要理解的基础,特别是新的传播技术的设计基础。信息概念,作为信息的普遍测度标准的比特,以及从香农工作中衍生出来的传播模式,使得我们能够以一种在香农之前不可能存在的方式分析传播系统。在传播学中,信息是一个中心概念,而香农的信息论成为传播学的根本范式。

什么是信息论

信息以某种非同一般的方式运作。一般来说,当它被有选择地分享时,它的价值就增加。它不会因为使用而贬值,尽管它可以过时。最为奇特的是,你可以在不放弃信息的情况下将其分发。因此,它与货币或其他形式的能源,或物质在本质上截然不同。香农的信息概念建立在热力学熵的等式的基础上,并将信息的测度单位定为比特。比特的一个重要优点是:它能够为范围极其广泛的“物质-能量”所使用。

香农的传播模式

香农为贝尔实验室工作,它关注传播系统,特别是电话系统的越来越广泛的信道能力。香农的最初目标是简单的:改进受电子干扰,或噪音影响的电报或电话线上的信息传递。他断定,最好的解决方法不是改进传递线路,而是更有效地包装信息。1984年香农的两篇论文提出了一系列以数学形式表达的定理,涉及到一个讯息从一个地方向另一个地方的传递。香农也阐述了传播所涉及的主要因素:信源、讯息、发射器、信号、噪音、接受到的信号、接受器和信宿。香农的整体理论贡献被普遍称为信息论,尽管香农将之称为“传播的数学理论”。

传播被定义为“一个过程,通过这个过程,一个人的思想影响另一个人”。因此,它被看做是有意图的。在其著作《传播的数学理论》中,韦弗和香农都提供了一种同样的线性传播过程模式(信源、讯息、发射器、信号和噪音等)。以其最简单的形式来说,这个模式表达了一种线性的、从左到右的传播概念。传播学学者用它来关注传播效果,特别是大众传播的效果,尽管香农的意图是要解释传递讯息的信道能力,而不是它的效果。但是,香农模式的线性的、从信源到接受器的性质导致传播学者在这个概念链条的末端加上了效果。他们寻求对效果问题的解释,即在讯息构建过程中展现诸如信源的可靠性和劝服策略等其他变量的基础上,效果是在怎样的程度上发生的。换句话说,他们用香农的概念变量来预测他们的因变量,后者是超出前者的东西。不幸的是,人类传播的社会科学家对于香农模式的使用,导致他们偏离了对主观意义的强调,这些主观意义正是通过个体间的信息交流而产生。讯息的编码和解码是一个社会过程,牵涉到卷入其中的个体间的人类关系,也牵涉到他们的个人信念以及以往的经历。

对于传播学的初学者来说,香农模式在解释一个传播 行为iede基本组成部分(信源、信道、讯息、接受器、噪音和反馈)方面是非常有用的。他的信息论为什么是传播的问题设定了界限。“明确的、逻辑的东西,由一种有意图的、公式化的编码程序所产生,并通向成功的相互理解”。这个传播定义没囊括发生在人们之间的全部种类的相互作用。例如,信息论忽略了非语言的传播。

香农谨慎地限定他的信息论的运用:香农说他的模式限于工程传播或技术传播,不适合人类传播,因为后者是这样一种信息交流类型,在此,一个个体解释一个讯息的意义。在香农的理论中,“信息”这个词是在一种特殊的意义上被使用的,特别是,信息不能和意义混为一谈。事实上,两个讯息,其中一个充满了意义,另一个纯粹是胡说八道,但从现在的观点出发,可以把它们看成完全相等的东西,即都是和信息有关的东西。而这,正是香农在说“传播的符号方面与工程方面无关”这句话所要意味的东西。

韦弗在他们的合著的介绍部分区分了三种层次的传播问题:

A层:传播符号如何能被准确地发射?(技术问题)

B层:被发射的符号如何能够准确地传递意图中的意义?(语义学问题)

C层:被接受的意义如何有效地以意图中的方式影响行为?(效果或行为问题)

香农的信息论对传播学的影响

香农的单向传播行为的模式有助于奠定传播学的学术领域。比起任何其他的理论概念化工作来,它更适合于作为传播学的范式,即为传播行为中的主要组成部分提供了一个单一的、易于理解的明确说明。这些主要组成部分是:信源、讯息、信道、接受器。因此,对于传播行为iede传播研究可以确定出信源变量(诸如可信度),讯息变量(就像使用恐惧诉求)、信道变量(诸如大众媒体与人际信道)和接受者变量(如受众个体的可说服性)。传播研究中的因变量对效果进行测度,诸如接受者一方的认识变化、态度变化等。

香农信息论的第三个要素,也就是在他信息的定义、测度以及他的传播模式之后,是他关于信道能力的命题。香农的命题论述了诸如带或不带噪音的信道、信源的熵、信道能力和连续与不连续的信息等等概念之间的关系。而他关于信道能力的命题却几乎被传播学学者忽视,一个基本的原因是,人类传播学者对于信道能力不那么感兴趣。香农的信道能力的主要因变量与传播学者对于传播效果的基本兴趣不是十分吻合。

香农的理论对于正在崛起的传播学领域产生了巨大的影响。从历史的眼光看,信息论是传播研究发展的一个主要的刺激因素。它使得在此以前的模糊的信息概念变得在数学上可以操纵,将它从涉及认识和传播术语的各种学科的有冲突的要求中解放出来,并赋予传播和信息过程的研究以合法性。信息论对传播学理论影响尽管很强且持久,但并非完全是积极的。香农的传播模式在由传播学学者做了某些改变(诸如增加了反馈)之后,又将传播学学者引向对传播行为进行单向的概念化工作,引向注重对传播效果的确定。但是,因为传播学者就信息论所做的事情而批评香农的理论,这公平吗?“批评香农的模式不适合人类传播的复杂性,犹如因为一艘划艇不是一条鲸而去批评它一样”。

香农的信息论对传播学的影响  编辑本段回目录

在有关信息论的两篇文章发表八年之后,香农说:“在过去几年,某种程度上信息论已经成为一种科学的时尚。。。。。它正被用于生物学、心理学、语言学、基础物理学、经济学、组织理论和其他许多领域。简而言之,目前,信息正在参与一场有点猛烈的普遍大众化的浪潮。”香农警告说这样的大众化带有某种危险:“例如,如果人类在某些情况下像一个理想的译码器一样行事,这就是一个实验的事实,而不是一个数学的事实,这样的事实必须在各种各样的实验的情况下得到验证。”香农将信息论限于工程传播,并告诫科学界防止将之过于广泛地运用于所有类型的人类传播。然而,传播学者没有对香农的警告给予太多的注意。

传播学的奠基人威尔伯·施拉姆在20世纪50年代普及了香农信息论方面的工作,他所采用的途径是:在伊利诺伊大学出版社任总编时出版了香农和韦弗(1949)的著作;在《新闻学季刊》上撰写了一篇文章,将比特用作传播研究的一个信息量度(施拉姆,1955);鼓励他的伊利诺伊大学的学生在从事传播研究时运用信息论。
香农模式
香农的单向传播行为的模型有助于奠定传播学的学术领域(罗杰斯和金凯德,1981)。比起任何其他的理论概念化工作来,它更适合于作为传播学的范式,即为传播行为中的主要组成部分提供了一个单一的、易于理解的明确说明。这些主要组成部分是:信源,讯息,信道,接受器。因此,对于传播行为的传播研究可以确定出信源变量(诸如可信度)、讯息变量(就像使用恐惧呼吁)、信道变量(诸如大众媒体与人际信道)和接受者变量(如受众个体的可说服性)。传播研究中的因变量对效果进行测度,诸如接受者一方的认识变化,态度变化(说服)和例如投票赞成某个候选人,或购买一种新产品的明显的行为变化。
因此,看来将香农(1949)的传播模式变成适合于传播研究中所包括的那些变量的一般分类图式不是一件困难的事情。这个模式的显而易见的简单使它能够吸引住传播学学者。不过,请注意:这些因变量是就接受者而言的传播效果,这是一个发展,它超出了香农原来对作为一个因变量的信道能力的重视香农传播模式中的另外两个修改是由人类传播学学者所作出的。第一,传播行为的单向模式通过增加有关对接受者的传播效果的反馈而多少有了扩展。尽管香农最初没有使用反馈概念本身,但他的确提出了一个带有“纠正装置”的“信源—发射器—接受器”的模式(香农,1949)。像伯洛(1960)那样的传播学学者受诺伯特·维纳(1948)的影响,在他们的人类传播模式中增加了,也确实强调了反馈概念。如同伯洛的通俗教科书《传播过程》(1960)的标题所包含的那样,他试图把传播行为的构成模式(SMCR)概念化为一种超时间的过程。第二,后来,在以两个或以上的参加者之间的信息交换为基础的趋同传播模式中,人类传播的单向概念得到了进一步的修正。伯洛(1977)将反馈结合到传播过程中去的做法朝着这个方向迈进了一步。罗杰斯和金凯德(1981)将传播描绘为这样一个过程:在此,个体作为“无线电收发两用机”来行事,就是既发射信息又接受信息,以便达到共同的理解。逐渐的,各种传播模式中的传播被看作是一个过程,而不是一种行为,这是一个偏离香农的线形传播式的运动
。。。。。。。。。。。。。。。
信息论对传播学的理论影响尽管很强且持久,但并非完全积极的。正如当代传播学学者对诸如“信源”、“接受者”和“反馈”等原初的工程概念的全然依赖、对诸如“噪音”、“编码”和“解码”等控制论术语的全然依赖所表明的那样,这个影响是强大的。香农的传播模式在由传播学学者作了某些改变(诸如增加了反馈“之后,又将传播学学者引向对传播行为进行单向的概念化工作,引向注重对传播效果的确定。因为传播学就信息论所做的事情而批评香农的理论,这公平吗?“批评香农的模式不适合于人类传播的复杂性,犹如因为一艘划艇不是一条鲸而去批评它一样。”(里奇,1986)

一旦一个范式被一个学科的学者们接受了,它就为以后几代的学者提供了有用的指南,减少了有关研究什么样的课题、如何研究它们、如何解释研究成果等问题的不确定性。 不过,一个范式也可能是一个理智的陷阱,使追随它的科学家们陷入他们可能完全辩认不出的假设之网。D·K·伯洛回顾20世纪50年代在伊利诺伊大学的博士学习生活:“和我的许多同事一样,我根本不理解我所相信的基础假设和理论结果,也把握不了我从中受到教育的研究传统的有限的繁殖力。我不认为作为线性因果决定论之基础的那些假设可以说明传播事件的主要问题,但不是说它们不能说明那种在我们的生活中引起重大差异的问题。”(伯洛,1977)他后来承认,人类传播常常是无目的的与非线性的:“一种信息——传播关系在我们理解它时可能是有方向的;否则,它就可能没有方向。如果我们把信源看作是有目的的和原初的,把接受者看作是被动的,看作一个接受器——例如,如果信息是刺激,效果就是反应——那么,这种关系就是有方向的。另一方面,如果这一关系是这样的,其中,两个使用者在期望、计划和预见方面趋于一致,那么根据双方如何使用和接近一个信息——事件,比起根据一个人如何使用这种关系去指挥另一个人来,属于这种关系的不确定性的减少或许就更容易理解了。”(伯洛,1977)
今天,有必要对香农的传播模式重新予以概念化,以便反映作为过程的传播定义,认识到传播往往是非线性的、无意图的,并促使传播效果之外的其他重要研究课题进行。因此,传播学者正逐渐地摆脱他们早期对克劳德·香农的数学的传播理论的误解,这是一个逐步的、渐进的过程,它最终将恢复我们对于作为自我纠正体系的知识界的信念。《传播学史》罗杰斯

追忆信息论之父-香农博士编辑本段回目录

  2001年2月24日,在步入新世纪仅仅2个月之后,当代最伟大的数学家和贝尔实验室最杰出的科学家之一,香农(Claude Elwood Shannon)博士在与疾病顽强搏斗了5年之后不幸与世长辞,享年84岁。

香农博士于1916年4月30日出生在美国密执安州的 Petoskey;1936年毕业于密执安大学获数学和电子工程学士学位;1940年获得麻省理工学院数学博士学位和电子工程硕士学位。从1941年起,他加入了贝尔实验室数学部,与当时贝尔实验室的许多著名科学家们一起工作了十五年,他们当中有现代数字信号处理理论及实践的创始人和先驱者Nyguist和Hamming博士。1956年之后,香农博士虽然被聘为著名的麻省理工学院的教授,但一直与贝尔实验室保持着密切联系。

1948年6月和10月,由贝尔实验室出版的科技界著名杂志“贝尔系统技术(BellSystemTech)”连载了香农博士的文章———“通讯的数学原理”(AmathematicalTheoryofCommunication)”.从而奠定了信息基本理论的基础。在这篇文章中,他首先严格定义了信息的位———“熵”(音同商)的概念。在此基础上,他又定义了信道容量的概念,并给出在不同噪音情况下无失真通信的极限传输速率。这些贡献对今天的通信工业具有革命性的影响。

下面,我们将通过简单的例子说明这两个现代通信中最基本的概念和原理。“熵”的概念起源于热力学,是度量分子不规则热运动的单位。香农的伟大贡献在于,利用概率分布的理论给出“熵”的严格定义。根据香农的定义,确定发生的事件如“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”,其熵都是零。

下面用一个简单的游戏来说明这个概念及其应用。设有甲、乙两人玩猜谜游戏,甲先想好一个人或物的名字,写在纸上,藏于盒中。乙问甲有关纸上内容的一系列问题,例如“是人还是物?”、“是男人还是女人?”、“是不是张三?”……甲仅回答是或否。乙试图用最少数目的提问就猜出甲所写的人或物的名称。现在的问题是,乙如何最为有效地设计他(她)的提问?根据熵的概念,问题所分割的事物应该尽量有相同的概率,也就是说,答案为“是”和“否”的概率应尽量相同,这样乙才能获得最大的信息量。然后,乙方再根据对方的答案,设计新的问题,逐步缩小搜索范围。所以说,我们上面列举的前两个提问都是比较好的,而第三个提问(“是不是张三?”)就不是提问开始时应该问的问题。

在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此,香农推出了一个公式,明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达到无失真通讯的传输速率的极限,现已称为香农极限。打个比方来说,在周围干扰严重的情况下,要想使对方听清楚,你就只有慢慢地讲,甚至还要不断重复。

如今,这两个原理现在已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的信息量,我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损压缩的标准和极限。

与很多伟人一样,香农有着极其广泛的爱好。他是最早致力于研究电动老鼠钻迷宫和自动下象棋机器的科学家。正如他自己所说的:“我总是奇怪事物是怎样拼在一起的?”正是这种好奇心驱使他不断地思考和创新。他非常幸运地在年仅25岁时就被当时的贝尔实验室数学部主任 T.L.Fry看中,从而在这个世界一流的学术环境里成长,这是他成功的一个关键。另一方面,贝尔实验室秉承了从古希腊亚里士多德的学院派到中世纪文艺复兴时代西方现代文明的传统,不断为科学家们创造着开放式的兼容并包的自由学术气氛,这也是香农得以做出这一划时代贡献的重要原因。

两年以前,贝尔实验室已开始塑造香农博士的塑像。他的塑像将与电话的发明人贝尔的塑像一起耸立在贝尔实验室大厅入口处供人瞻仰。他的事迹已经载入贝尔实验室的展览厅中,和数十名贝尔实验室所培养的世界一流大科学家们的事迹一起供人学习。他们之中有十一名诺贝尔奖获得者,包括两名华人诺贝尔奖获得者崔琦和朱棣文。也有各种国际工商界大奖的获得者,包括UNIX操作系统和C 语言的发明者。展览中囊括了贝尔实验室在各个时期的重要发明,如第一台传真机、按键电话、数字调制解调器、蜂窝电话、通信卫星、高速无线数据系统、太阳能电池、电荷耦合器件、数字信号处理器、单芯片、激光器和光纤、光放大器、密集波分复用系统、首次长途电视传输、高清晰度电视。在如此众多的发明之中,展览会突出的信息时代的两项最重要发明就是晶体管和信息论,而香农博士正是信息论之父。

1998年,在香农还在世但已患老年痴呆症的情况下,国际电子工程师学会(IEEE)举行了隆重的大会以纪念他的理论发表五十周年。来自世界各地的数百名顶尖科学家们对他表示了深深的敬意。和世界各地一样,中国的科研工作者也很早就注意到香农的工作。北京大学的江泽培教授在五十年代就翻译了有关香农理论的小册子;南开大学的胡国定教授更是身体力行地建立了中国信息论的研究中心。

贝尔实验室正因为拥有诸多象香农这样的伟大科学家而享誉世界。尽管,朗讯科技与其他高科技公司一样在发展过程中经历着起伏,但对于其创新机构———贝尔实验室研究部门———的支持和保护却始终不变。正是这种支持使贝尔实验室能够为科研人员提供一个稳定健康的研究环境,为培养像香农这样的科学家奠定了基础。目前,贝尔实验室已在世界多个国家设立了研究机构,它的中国研究院在成立不到一年的时间里,已经和中国广大科研工作者建立了良好的合作关系,并在自身的研究领域中取得了可喜的进展。贝尔实验室基础科学研究院(中国)将谨守其对于中国的承诺,继续履行其在中国的使命。研究院与中国科技教育界的合作不变;研究院在科研资金上的投入将比去年同期有大幅度增长;研究院的规模及涉及的研究领域也将不断扩展。

在中国,从孔夫子的教育思想,春秋时代的百家争鸣,到五四运动时期科学与民主的精神,以及北京大学蔡元培先生所提倡的兼容并包的办学方针,都有很多优秀的思想值得借鉴。我们在深切怀念香农博士的同时,也祝愿贝尔实验室在中国的研究机构能结合古今中外的优秀学术思想,持续地发展,不断地壮大,成为世界一流的研究机构。

图说香农编辑本段回目录

1952 – “Theseus” Maze-Solving Mouse – Claude Shannon (American)

Internals showing N-S, E-W carriage, Relays, Uni-selector, motors, amongst other electrical components.

See 18 mins 51 secs in for 27 seconds.

See 9 mins 16 secs in for 32 seconds.

As the 1952 maze solver was recently at the MIT Museum.

Picture from Life Magazine 28 July 1952. Top trace is showing the first pass of the maze solver learning the maze. The second run showing that it has learnt the maze and the mouse goes direct to the cheese.

Detail of a trace showing to mouse rotations and making contact with the wall.

Picture above from Popular Science March 1952 showing another pair of time-lapse photos showing the learning of the maze in the first run, and the solving of the maze. A modified mouse is also shown. It included a lamp to ensure a trace showed in the time-lapse photography. Full pdf here.

The above maze photograph from Electrical Engineering July 1952. It took two minutes to learn the maze, and between 12-15 seconds to reach the "cheese" once solved.

Problem-Solving Electric Mouse Aids in Improved Telephone Equipment Research

An electric mouse with a man-made super-memory is busily at work these days, repeatedly threading its way through a series of complicated mazes at Bell Telephone Laboratories. The handiwork of Dr. C. E. Shannon, a mathematician associated with the Bell Telephone Laboratories, Inc., the mouse uses for its "brain" some of the same kind of switching relays found in dial telephone systems. The reason it exists is to provide fundamental knowledge which will help improve telephone service.
The mouse, in reality a 2-inch bar magnet with three wheels and copper whiskers, can solve quickly more than a million million different mazes, learning each new one rapidly, then instantly forgetting it in order to be ready to learn the next one. Its goal is an electric terminal with a bell which rings when the mouse nudges it with its copper whiskers.
The maze is about half the size of a desk top. It has aluminum fences which can be rearranged at will in 40 different slots to create the hardest possible problems for the mouse. The mouse is placed at some arbitrary point in the maze and the goal at a different arbitrary point. After a brief pause to get its bearings, the mouse goes up and down corridors, bumping into walls, backing up and turning, and exploring until, a minute or two later, it reaches its goal and rings the bell.
Having learned the correct path to the goal, the mouse now can be set down at any point that it visited during its explorations and, without making a single false move, it will proceed directly to the goal in 12 to 15 seconds. If it is placed in a part of the maze not previously visited, it will explore until it reaches a known part and then move directly to the goal.
After this, if the maze is altered, the mouse will have to learn the new paths by further exploration, but it readily will remember those parts of the path which remain unchanged.
This is the way the mouse works. When it is set down on the metal floor of the maze, it trips an electric switch which signals its position to a mechanism under the floor. A motor-driven electromagnet moves swiftly to the spot directly beneath the mouse and from then on holds it in a magnetic grasp. The magnet turns through a 90-degree angle, carrying the mouse with it, then guiding it forward. If the mouse hits a barrier and detects, by means of its copper whiskers, that it is in a dead end, the magnet will back away, shift the mouse to another direction, and start it forward to try again to find an open path. It keeps trying until it finds the way to the goal. Then it remembers the successful path and can solve the maze directly without error.
To regulate the sequence of movement, a "programming" circuit has been built, consisting of 40 electric relays. Another part of the mouse's "brain," which serves as its memory, contains 50 relays. Two small motors complete the equipment.
By working with such problem-solving equipment, it is hoped that more will be learned about what man can do with machines. Many of the techniques by which machines are able to remember are currently being applied in the Bell System in dial switching, in automatic accounting, and in other equipment.
The real significance of this mouse and maze, lies in the four unusual operations it is able to perform. It has the ability to solve a problem by trial and error means, remember a solution and apply it when necessary at a later date, add new information to the solution already remembered, and forget one solution and learn a new one when the problem is changed.

The above two sequences are interesting in that the 'learnt' maze is altered (2nd panel before the finish), and the mouse is still capable of re-learning the change and solving the maze.

Shannon with the mouse.

The original mouse was carved from wood hollowed out to take a two-inch magnet bar of aluminium, nickel, and cobalt. It has two beady, button eyes, three small brass wheels for legs, and an pipe cleaner for a tail. Two copper whickers guide it through the maze to the "cheese" which is an electrical terminal that rings a bell when toughed by the whickers.


Bell built several versions of Theseus for demonstrations of the technology. One of them was known as Philbert as used by Southwestern Bell Telephone Company. As late as November 1976 they were still being demonstrated.


Time-Life have about 70 images of Shannon, the mouse, and time-exposures of the maze. They can also be found in Google images by adding the option source:life .

http://cyberneticzoo.com/?p=2552

参考资料编辑本段回目录

→如果您认为本词条还有待完善,请 编辑词条

词条内容仅供参考,如果您需要解决具体问题
(尤其在法律、医学等领域),建议您咨询相关领域专业人士。
1

标签: Claude Elwood Shanno 克劳德·香农 克劳德·申农 克劳德·艾尔伍德·香农 Claude Shannon

收藏到: Favorites  

同义词: Claude Elwood Shannon,克劳德·申农,克劳德·艾尔伍德·香农,Claude Shannon,Shannon,香农

关于本词条的评论 (共0条)发表评论>>

对词条发表评论

评论长度最大为200个字符。