MIT: 多模态大模型语义中心

文章预览

笔者刚注意到去年底忽略了一个大模型原理的重要进展，来自MIT学者关于大模型语义中心的文章【文献1】。 语义中心假说 早期的大语言模型只能处理文本，现在大型多模态模型可以对不同类型的数据执行高度多样化的任务，跨多语言、代码、数学、图像与音视频等等。 MIT学者探索并揭示了大模型内部处理跨数据类型的工作原理与 人脑的 相似之处。对应于笔者在 MIT对大模型数理原理的强有力证明 中总结： 基于宏大的人类知识提取出来丰富范畴，形成众多领域的本体知识结构，这是大模型通过预训练已经构建的内部世界模型。 这个内部世界模型其实就是不同语言模态数据类型所共享的一致性的语义表征空间，即通用的语义中心。 类似人脑机制 人类大脑的前颞叶被认为是一个整合听觉、视觉等不同感官信息的“语义枢纽”，用于存储和处理跨模 ………………………………