信息熵是什么？

信息熵（Information Entropy）的概念来源于信息论。而信息论的奠基人香农（Shannon）在1948年将热力学中的熵引入了信息论，提出了信息熵（又称香农熵）。

首先我们需要明白什么是信息。香农认为：信息是用以消除随机不确定性的东西。这里举个例子，竞猜世界杯32支队伍谁会夺冠。开始时假设我们对每个球队都不了解，那么所有队伍的夺冠概率都是相同的1/32。但是一旦我们获取了一些信息，比如查看往届的世界杯冠军，发现都是欧洲和南美的球队夺冠。通过这个信息，我就能消除一些不确定性，除去南美和欧洲的球队都排除。那么可能就剩下10支队伍，这样我猜中的概率就变成了1/10，大大的增加了。

而信息能够降低事件的不确定性，那么想要确定出不确定性大的事件所需的信息就越多。因次就可以用所需的信息大小来衡量事件的不确定性。并且发现概率同样能够表示事件的不确定性，概率越小不确定性就越大。

根据上面的推理，我们就可以用概率还描述某个事件的信息量，同时概率越小，信息量越大。那么由此给出信息量I的公式：

其中p为事件发生概率。比如巴西夺冠的概率为1/3。那么相应的信息量就约为1.58；而日本夺冠概率为1/60，信息量就为5.9；可见概率越低，所需要的消除不确定性的信息量就越大。

而信息熵实际上就是对每个事件的加权平均信息量。对于世界杯谁会夺冠（X）这个事件的信息熵就是所有参加世界队伍（x）能夺冠的信息量的加权平均。

熵最初是热力学中的概念，当然我的物理学的也不好，引用百度百科“1877年，玻尔兹曼用下面的关系式表示系统的无序性大小： S ∝ lnΩ， 1900年普朗克引入了比例系数k， S = klnΩ”其中k是一个常数，叫做玻尔兹曼常数，S是宏观系统的熵值，Ω是可能的微观状态数，Ω越大，表示系统越混乱无序。 因此熵是表示系统内分子热运动无序性的一种量度。

信息学中的熵和热力学中的熵不是一个东西，但是他们有着很多的相似性。信息熵是统计学中随机变量不确定度的一种度量。同样表达了系统中变量的一种分布特性。

信息熵的公式如下：

p(x)代表系统中一个变量的概率分布，若x有三种可能取值为x1，x2，x3，则

H(X) = -p(x=x1)logp(x=x1)-p(x=x2)logp(x=x2)-p(x=x3)logp(x=x3) 。

若x取值为x1，x2，x3的概率为1,0,0，系统是非常有序的，全为x1

则H(X)=-1log1=0

若x取值x1，x2，x3的概率为1/3,1/3,1/3，系统是无序的，x各变量均匀分布

则H(X)=-1/3log1/3-1/3log1/3-1/3log1/3=-log1/3=1.58

可见系统越无序信息熵值越大。