基于自由能最小化的语言模型——元预测学习模型｜自由能原理与强化学习读书会·周六直播

文章预览

导语 自由能原理在感知和学习领域的一个应用是预测加工理论，该理论解释大脑如何通过最小化预测误差来理解环境。此次 「自由能原理与强化学习」 读书会是预测加工理论部分的第一期，由中山大学物理学院统计物理与神经计算实验室（PMI Lab）黄海平老师和硕士生邱俊斌介绍发表于 Physical Review E 的最新工作，他们提出基于平均场的预测编码学习——元预测学习算法。此次读书会将从自由能原理视角出发，探讨预测编码与自由能最小化的关系，以及大脑计算、大模型预测和通用智能之间的联系。 背景介绍 当自由能原理应用于大脑与认知学习方面时，激发了一系列具体的理论和实践框架，例如预测编码理论（Predictive Coding）和预测加工模型（Predictive Processing）。预测编码理论和预测加工模型是两个紧密相关的概念，预测编码理论提供了一个关 ………………………………