推演大模型局限与发展脉络

文章预览

MIT对大模型数理原理的强有力证明  中，笔者回顾了 去年整理的 大模型数理原理 ，也总结了MIT对其做的最强有力的实践证明。 概括 为：1、重整化从海量语料中提取出范畴，2、持续重整化驱动范畴解构重组结晶，3、生成过程于范畴中采样做变分推理。 进一步，从这个数理原理出发，可以推演出大模型未来可能的发展脉络，潜在的能力，以及可能的脆弱点，最近不少文献分别印证了这几点。 一、训练语料的颗粒度、覆盖面受限，无法囊括人类现有的所有知识，甚至都无法包含某个单一领域的完备的知识，重整化出来的内部 世界模型的结晶可能是局部的，相对于完备的外部世界，存在众多空洞缺失或不连贯性； 来自哈佛、MIT等学者，提出了评估 生成模型中的世界模型的指标 【文献1】 ，研究表明，生成模型的世界模型远不如看起来那么连贯。 ………………………………