MIT大牛新发现：LLM和人类大脑结构类似，存在脑叶分区！

主要观点总结

Max Tegmark团队最新研究发现，LLM（大型预训练语言模型）中存在三层有趣的结构：原子尺度的晶体结构、大脑尺度的模块结构以及星系尺度的点云结构。通过对SAE（稀疏自编码器）点云的研究，该团队发现概念宇宙在多个空间尺度上展现出有趣的结构。研究通过寻找晶体、脑叶和星系结构，深入探讨了LLM的内部表征。这项研究为理解LLM的内部表征和处理机制提供了全新的视角，并标志着人类对于解释LLM运作机制的理解又进一步。

关键观点总结

关键观点1: 研究背景

LLM作为人工智能领域的重要突破，其内部工作机制一直是一个黑箱。此前已有研究表明LLM中存在线性表征的证据，而最新研究则更进一步，揭示了LLM中的多层次结构。

关键观点2: 研究内容

Max Tegmark团队通过对SAE点云的研究，发现了LLM概念宇宙的三层结构：原子尺度的晶体结构、大脑尺度的模块结构以及星系尺度的点云结构。这些结构在多个空间尺度上展现出有趣的特点。

关键观点3: 研究方法

研究团队通过寻找晶体、脑叶和星系结构，使用多种方法如线性判别分析（LDA）、共现统计和谱聚类等，来探讨LLM的内部表征。同时，通过估计点云的熵和聚类熵，量化了点云的聚类情况。

关键观点4: 研究结果

研究发现，中间层的特征点云表现出最明显的幂律分布和最强的聚类现象。此外，研究还发现LLM在不同尺度上的结构与其功能紧密相关。

关键观点5: 研究意义

这项研究为理解LLM的内部表征和处理机制提供了全新的视角，标志着人类对于解释LLM运作机制的理解又进一步。同时，这项研究也为未来的研究提供了新的方向，如进一步研究不同尺度上结构的成因和功能，以及探索更高级别的抽象概念表示等。

文章预览

 夕小瑶科技说 分享  来源 | 新智元 LLM居然长「脑子」了？ 就在刚刚，MIT传奇大牛Max Tegmark团队的新作，再次炸翻AI圈。 论文地址： https://arxiv.org/abs/2410.19750 他们发现，LLM学习的概念中，居然显示出令人惊讶的几何结构—— 首先，它们形成一种类似人类大脑的「脑叶」；其次，它们形成了一种「语义晶体」，比初看起来更精确；并且，LLM的概念云更具分形特征，而非圆形。 具体而言，这篇论文探讨了LLM中稀疏自编码器（SAE）的特征向量表示的。 Max Tegmark团队的研究结果表明，SAE特征所代表的概念宇宙在多个空间尺度上展现出有趣的结构，从语义关系的原子层面到整个特征空间的大规模组织。 这就为我们理解LLM的内部表征和处理机制，提供了全新的见解。 总之，这个研究实在太过震撼！网友直言：如果LLM和人脑相似，这实在是给人一种不好的 ………………………………