MIT研究：LLM对世界模型的探索

文章预览

本文转 自 新智元 【导读】 MIT CSAIL的研究人员发现，LLM的「内心深处」已经发展出了对现实的模拟，模型对语言和世界的理解，绝不仅仅是简单的「鹦鹉学舌」。也就说，在未来，LLM会比今天更深层地理解语言。 LLM离世界模型，究竟有多远？ 去年，MIT的一篇文章发现了惊人的结论：在LLM内部，存在一个世界模型。 LLM不仅学习了表面的统计数据，还学习了包括空间和时间等基本纬度的世界模型。 Llama-2-70B竟然能够描绘出研究人员真实世界的文字地图 不仅如此，MIT最近又发现：在LLM的深处，发展出了一种对现实的模拟，它们对语言的理解，已经远远超出了简单的模仿！ 论文地址：https://arxiv.org/abs/2305.11169 具体来说，MIT计算机科学和人工智能实验室 （CSAIL）的两名学者发现—— 尽管只用「预测下一个token」这种看似只包含纯粹统计概率的目标，来训 ………………………………