用「压缩即智能」评测各路开源大模型

文章预览

↑ 点击 蓝字  关注极市平台 作者丨 九号@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/681449063 编辑丨极市平台 极市导读   「压缩即智能」并不是只是一厢情愿的理念，作者用empirical的方法展示了「压缩」和LLMs在实际问题表现上的强关联性。同时，作者在LLM评测里引入了时间线方法，结合「压缩」指标，实现了从performance和robustness两个维度对大模型进行科学地评估。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 GPT-4出来之后，人们提出了很多理论，来尝试解释LLMs的成功。其中「压缩即智能」算是比较主流，且我觉得是比较有意思的理论。 例如，OpenAI的Jack Rae认为无损压缩是通往AGI的可行路径[1]，甚至是人们最接近的一种路径。Ilya Sutskever(不知道还在不在OpenAI) 认为，language modeling之类的无监督学习方法之所以有效，可以用无损压缩的观 ………………………………