熵与信息（四）：如何用1 bit信息改变世界？

主要观点总结

本系列文章探讨了信息论与熵的概念，并介绍了信息论三大定理，特别是香农第二定理，即信道容量定理，说明了信道容量与信噪比的关系。同时，文章还讨论了互信息的概念，并指出了互信息在日常生活中的应用，比如企业价值观的选择和短视频平台的内容传递。此外，还提到了信息论在通信技术和人工智能中的应用，并推荐了“得到”APP的《吴军：信息论40讲》专栏，以进一步了解信息论。

关键观点总结

关键观点1: 信息论三大定理

香农提出了信息论的三大定理，其中第二定理即信道容量定理，说明了信道容量与信噪比的关系。

关键观点2: 互信息概念及其应用

互信息衡量了系统之间的联动性，在日常生活中体现在企业价值观的选择和短视频平台的内容传递上。

关键观点3: 信息论在通信和AI中的应用

信息论不仅在通信技术中占据重要位置，也在人工智能中起到关键作用。

关键观点4: 推荐学习资源

推荐收听“得到”APP的《吴军：信息论40讲》专栏，以更深入地了解信息论。

文章预览

硬科普系列 熵与信息（一）：一个石破天惊的副产品 熵与信息（二）：热力学熵和信息熵，是同一个熵吗？ 熵与信息（三）：麦克斯韦妖的百年纠葛 欢迎回到我们的硬科普系列「熵与信息」。在前三期的文章中，我们深入探讨了信息熵与热力学熵的奇妙世界 （可点击上方标题回顾文章👆） ，不少同学还意犹未尽，那就让我们继续深入这场关于熵的探索之旅，本期内容 马上开始！ 研究通信问题的困境 吴军在【得到 app】 的《信息论 40 讲》的第一集里，就介绍了 3 个价值连城的信息。 （本文文末可直达得到app收听该课程） 第一个是关于二战期间苏联间谍佐尔格 。在当时，纳粹德国已经兵临莫斯科城下，斯大林在欧洲已经无兵可派，虽然在西伯利亚的中苏边界还有 60 万大军，却是需要防备日本。是否可以调动这部分兵力，取决于日本军部的战 ………………………………