连接人工智能技术人才和产业人才的交流平台
今天看啥  ›  专栏  ›  机器学习研究组订阅

AI「长脑子」了?LLM惊现「人类脑叶」结构并有数学代码分区,MIT大牛新作震惊学界!

机器学习研究组订阅  · 公众号  · AI  · 2024-10-30 17:32
    

文章预览

LLM居然长「脑子」了? 就在刚刚,MIT传奇大牛Max Tegmark团队的新作,再次炸翻AI圈。 论文地址:https://arxiv.org/abs/2410.19750 他们发现,LLM学习的概念中,居然显示出令人惊讶的几何结构—— 首先,它们形成一种类似人类大脑的「脑叶」;其次,它们形成了一种「语义晶体」,比初看起来更精确;并且,LLM的概念云更具分形特征,而非圆形。 具体而言,这篇论文探讨了LLM中稀疏自编码器(SAE)的特征向量表示的。 Max Tegmark团队的研究结果表明,SAE特征所代表的概念宇宙在多个空间尺度上展现出有趣的结构,从语义关系的原子层面到整个特征空间的大规模组织。 这就为我们理解LLM的内部表征和处理机制,提供了全新的见解。 总之,这个研究实在太过震撼!网友直言:如果LLM和人脑相似,这实在是给人一种不好的预感…… 所以,美丽的自然法则并不独 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览