AI「长脑子」了？LLM惊现「人类脑叶」结构并有数学代码分区，MIT大牛新作震惊学界！

主要观点总结

Max Tegmark团队最新研究揭示了LLM中的类似人脑的结构，包括数学/代码、短文本、长篇科学论文等脑叶分区。研究探讨了LLM学习的概念中的几何结构，包括原子尺度晶体结构、大脑尺度的模块结构以及星系尺度的点云结构。

关键观点总结

关键观点1: Max Tegmark团队发现LLM中存在类似人脑的结构，包括数学/代码、短文本和长篇科学论文等脑叶分区。

团队通过研究发现LLM学习的概念中存在类似人脑的几何结构，包括在多个空间尺度上展现出的有趣结构。

关键观点2: LLM学习的概念中的几何结构包括原子尺度晶体结构。

在原子尺度上，研究者发现了类似于晶体结构的语义关系，如“男人-女人-国王-王后”的经典案例。

关键观点3: LLM学习的概念中的几何结构还包括大脑尺度的模块结构。

在大脑尺度上，研究者观察到功能相似的SAE特征组在几何上也相似，形成类似人脑的功能分区。

关键观点4: LLM学习的概念中的星系尺度的点云结构被发现。

在星系尺度上，研究者研究了整体形状、聚类等大规模点云结构，发现点云并非各向同性，而是表现出特征值幂律分布等特性。

关键观点5: 这项研究为理解LLM的内部表征和处理机制提供了新见解。

通过对LLM中稀疏自编码器特征的研究，研究者揭示了LLM内部的多层次结构，为破解LLM运作机制的黑箱提供了线索。

文章预览

   新智元报道   编辑：编辑部 HYZ 【新智元导读】 Max Tegmark团队又出神作了！他们发现，LLM中居然存在人类大脑结构一样的脑叶分区，分为数学/代码、短文本、长篇科学论文等部分。这项重磅的研究揭示了：大脑构造并非人类独有，硅基生命也从属这一法则。 LLM居然长「脑子」了？ 就在刚刚，MIT传奇大牛Max Tegmark团队的新作，再次炸翻AI圈。 论文地址：https://arxiv.org/abs/2410.19750 他们发现，LLM学习的概念中，居然显示出令人惊讶的几何结构—— 首先，它们形成一种类似人类大脑的「脑叶」；其次，它们形成了一种「语义晶体」，比初看起来更精确；并且，LLM的概念云更具分形特征，而非圆形。 具体而言，这篇论文探讨了LLM中稀疏自编码器（SAE）的特征向量表示的。 Max Tegmark团队的研究结果表明，SAE特征所代表的概念宇宙在多个空间尺度上展现出 ………………………………