为什么“压缩即智能”？算法信息论与大模型、生命、智能的联系

文章预览

导语 智能体在理解和处理信息时，本质上是在寻找最有效的压缩方式。这个观点与算法信息论密切相关。最近关于大语言模型的研究表明，语言建模和压缩可能是等价的。可以用大模型做无损压缩，反过来，也可以用压缩机做生成——即“压缩即智能”。在集智俱乐部 「AI by Complexity」读书会 ，北京师范大学珠海校区副教授刘宇做了主题为 “压缩即智能”与算法信息论 的分享，介绍如何结合算法信息论中的柯式复杂度和压缩算法来定义距离，并在机器学习、生命、智能等领域展开应用。本文整理自 刘宇老师在此次读书会中的分享 。 集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「 AI By Complexity 」读书会 ………………………………