文章预览
转自:新智元 如涉版权请加编辑微信iwish89联系 哲学园鸣谢 新智元报道 编辑:编辑部 HYZ 【新智元导读】 Max Tegmark团队又出神作了!他们发现,LLM中居然存在人类大脑结构一样的脑叶分区,分为数学/代码、短文本、长篇科学论文等部分。这项重磅的研究揭示了:大脑构造并非人类独有,硅基生命也从属这一法则。 LLM居然长「脑子」了? 就在刚刚,MIT传奇大牛Max Tegmark团队的新作,再次炸翻AI圈。 论文地址:https://arxiv.org/abs/2410.19750 他们发现,LLM学习的概念中,居然显示出令人惊讶的几何结构—— 首先,它们形成一种类似人类大脑的「脑叶」;其次,它们形成了一种「语义晶体」,比初看起来更精确;并且,LLM的概念云更具分形特征,而非圆形。 具体而言,这篇论文探讨了LLM中稀疏自编码器(SAE)的特征向量表示的。 Max Tegmark团队的研究
………………………………