熵与信息（二）：热力学熵和信息熵，是同一个熵吗？

文章预览

科声硬科普系列 1 熵与信息（一）：一个石破天惊的副产品 信息是什么？在上一集我们就提到过，信息可以降低一个系统的不确定程度。这句话里其实就已经暗含了对熵的描述。 熵是对一个系统不确定的度量，而信息可以降低不确定性。 也就是说，熵和信息一定是有关系的，只要我们找到其中的关系，就能把熵是什么搞清楚了。 这件事香农做到了。而且 香农定义的熵是基于信息量得出来的，所以也叫做信息熵。 那么信息熵是什么呢？就是简单的把一个系统可以发出的所有信息的信息量加起来吗？没有那么简单。 信息熵 还是用第一集里简化版的“世界杯比赛”来举例，从 8 个球队比赛不知道谁得冠军，到确定阿根廷夺冠。赛前这个系统是不确定的，当决赛完成之后，冠军就成了确定的了。 这个过程从定性的角度去理解很容易，可是如何定量的 ………………………………