摘要: 正文互信息(MutualInformation)是一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为: I(X,Y)=H(X) H(Y)-H(X,Y) 其中H(X,Y)是联合熵(JointEntropy),其定义为: H(X,Y)=-∑p(x,y)logp(x,y) x,y 互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。 [阅读全文]