柏拉图表征与大模型内在

文章预览

一、柏拉图表征假说   麻省理工学者最近关于神经网络的柏拉图表征假说[文献1]，获得大神Ilya的点赞，激起AI 社区的广泛关注和讨论，论文称：   “神经网络在不同的数据和模态下，以不同的目标进行训练，在其表征空间中逐渐趋向于现实的共享统计模型。”   核心思想是，各种模型都努力学习"目标现实"的统计表证。事实表明， GPT4o 这样的多模态统一大模型实现的先进性能，印证了表征对齐和互换的可行性与威力。     而且模型容量越大，通用任务处理能力越强，表征更加简单和一致，也就是学者们说的，随着这几个因素（维度）变化观察到的表征收敛。   增大模型可以更准确表征现实，从而减少幻觉和偏见，多模态信息的引入可以改善跨领域的表征。       二、表征趋向概率世界模型   学者们描绘的这个“现实的共享统计模型”与笔者 ………………………………