MIT对大模型数理原理的强有力证明

文章预览

来源：清熙 笔者去年整理的 大模型数理原理 ，迎来了最强有力的实践证明！ 原理回顾 笔者在“GPT4技术原理”系列文章梳理出来大模型数理认知框架如下图：           海量的文本或者多模态语料组成了大模型需要认知的外部世界的基本信息；嵌入构建高维概率化的语言空间，用来建模语言文字图像以及音视频，并对连续变量做离散化；   预训练以 重整化群流 的方式进行，在不同尺度上提炼语料数据中的信息概率分布；重整化群流的每一步流动（自回归预测逼近训练语料概率分布），都沿着最优输运的 成本最低方向 进行；   重整化群在不动点附近因新语料带来微扰而发生 对称性破缺 ，滑入不同的相空间；不同的相空间，对应某种意义上的范畴，可形象化为信息的结晶；这是大模型从语料中学到的 内部世界模型 ；   在外部感官输入下（被 ………………………………