压缩下一个token通向超过人类的智能

文章预览

【点击】 加入大模型技术交流群 原文：https://zhuanlan.zhihu.com/p/619511222 压缩即智能？ 最近在研究 OpenAI 发现，他们其实做的只是机器学习的第一原理，也是机器学习的终局： 优化对于未来观察的无损传输的压缩大小 。进一步分析后发现，这个理论非常 powerful，因为仅仅如此，便能通向超过人类的智能 （Super-human Intelligence）。本文会介绍无损压缩的基本原理和具体实现以及对于 AI 未来发展的猜想。 在和小伙伴一起研究的过程中，引出一些有意思的讨论。虽然由于篇幅限制不会特别深入，但希望能引起大家的兴趣。讲无损压缩的部分为了保持 self-contained 的阅读体验，正文里尽量没有引用资料；参考文献会在最后一起给出。对模型训练的无损压缩解释有了解的同学，也可以直接跳到后面的章节开始阅读。本文不是为了创造新的理论、追求 novelty 等目 ………………………………