信息熵编辑本段回目录
正文编辑本段回目录
信源的平均不定度。在信息论中信源输出是随机量，因而其不定度可以用概率分布来度量。记 H(X)＝H(P1，P2,…,Pn)＝
P(xi)logP(xi),这里P(xi),i＝1,2，…,n为信源取第i个符号的概率。
P(xi)=1,H(X)称为信源的信息熵。
熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值，称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出，对任何已知孤立的物理系统的演化，热熵只能增加，不能减少。然而这里的信息熵则相反，它只能减少，不能增加。所以热熵和信息熵互为负量。且已证明，任何系统要获得信息必须要增加热熵来补偿，即两者在数量上是有联系的。
可以从数学上加以证明，只要H(X)满足下列三个条件：
①连续性：H(P，1－P)是P的连续函数(0≤P≤1)；
②对称性：H(P1，…,Pn)与P1，…,Pn的排列次序无关；
③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，则有H(P1,…,Pn-1,Q1,Q2)＝H(P1,…,Pn-1)+PnH
；则一定有下列唯一表达形式：
信息熵的单位与公式中对数的底有关。最常用的是以2为底,单位为比特(bit)；在理论推导中常采用以e为底，单位为奈特(Nat)；还可以采用其他的底和单位,并可进行互换。
信息熵除了上述三条基本性质外，还具有一系列重要性质，其中最主要的有
①非负性：H(P1，…，Pn)≥0；
②确定性：H(1,0)＝H(0,1)＝H(0,1,0,…)＝0； ③扩张性：Q(xi)＝1；
⑤上凸性：
最简单的二元信源的信息熵性质如图所示。
。但对连续信源则不能进行类似的推广。因为这样就必然会出现无限大量。1948年C.E.仙农建议用概率密度p(x)来定义H(X)，
从理论上看，仙农对连续熵H(X)的定义是不完善的。1951年S.库尔伯克研究信息论在统计学中的应用时，引入了信息变差的概念。从一种概率密度p0(x)转移到另一种概率密度p(x)的信息变差I(p0，p)为
若P0(x)是具有最大熵H0(X)的概率分布,则信息变差I(P0,P)=H0(X)-H(X),所以一般情况下的信息熵H(X)可表示为:H(X)=H0(X)-I(P0,P)。即信息熵可理解为最大熵与信息变差之间的差值。由于它对离散熵和连续熵都适用，从信息变差出发就能使离散熵和连续熵有统一的含义，并可以使连续熵的定义建立在更为合理的基础上。
参考书目
周炯槃：《信息理论基础》，人民邮电出版社，北京， 1983。
A.Feinstein, Foundations of Information Theory, McGraw-Hill,New York,1958.
P(xi)logP(xi),这里P(xi),i＝1,2，…,n为信源取第i个符号的概率。P(xi)=1,H(X)称为信源的信息熵。 熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值，称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出，对任何已知孤立的物理系统的演化，热熵只能增加，不能减少。然而这里的信息熵则相反，它只能减少，不能增加。所以热熵和信息熵互为负量。且已证明，任何系统要获得信息必须要增加热熵来补偿，即两者在数量上是有联系的。
可以从数学上加以证明，只要H(X)满足下列三个条件：
①连续性：H(P，1－P)是P的连续函数(0≤P≤1)；
②对称性：H(P1，…,Pn)与P1，…,Pn的排列次序无关；
③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，则有H(P1,…,Pn-1,Q1,Q2)＝H(P1,…,Pn-1)+PnH
；则一定有下列唯一表达形式： H(P1,…,Pn)＝-CP(xi)logP(xi)
信息熵的单位与公式中对数的底有关。最常用的是以2为底,单位为比特(bit)；在理论推导中常采用以e为底，单位为奈特(Nat)；还可以采用其他的底和单位,并可进行互换。
信息熵除了上述三条基本性质外，还具有一系列重要性质，其中最主要的有
①非负性：H(P1，…，Pn)≥0；
②确定性：H(1,0)＝H(0,1)＝H(0,1,0,…)＝0； ③扩张性：
Hn-1(P1,…,Pn-ε,ε)＝Hn(P1,…,Pn)；
P(xi)logP(xi)≤P(xi)logQ(xi)；
Q(xi)＝1； ⑤上凸性：
H【λP +(1-λ)Q】＞λH(P)+(1-λ)H(Q)，
式中0＜λ＜1。最简单的二元信源的信息熵性质如图所示。
。但对连续信源则不能进行类似的推广。因为这样就必然会出现无限大量。1948年C.E.仙农建议用概率密度p(x)来定义H(X)， 
从理论上看，仙农对连续熵H(X)的定义是不完善的。1951年S.库尔伯克研究信息论在统计学中的应用时，引入了信息变差的概念。从一种概率密度p0(x)转移到另一种概率密度p(x)的信息变差I(p0，p)为
若P0(x)是具有最大熵H0(X)的概率分布,则信息变差I(P0,P)=H0(X)-H(X),所以一般情况下的信息熵H(X)可表示为:H(X)=H0(X)-I(P0,P)。即信息熵可理解为最大熵与信息变差之间的差值。由于它对离散熵和连续熵都适用，从信息变差出发就能使离散熵和连续熵有统一的含义，并可以使连续熵的定义建立在更为合理的基础上。
参考书目
周炯槃：《信息理论基础》，人民邮电出版社，北京， 1983。
A.Feinstein, Foundations of Information Theory, McGraw-Hill,New York,1958.
配图编辑本段回目录
