AI自我纠错，Diffusion超越自回归！质量提升55%，已达理论证据下界

文章预览

   新智元报道   编辑：KingHZ 【新智元导读】 Diffusion模型，学会了自我纠正！无需强化学习等后训练，扩散在语言建模中实现了自我纠错，达到了计算效率匹配的最优性能，找到了证据下界（ELBO）的理论上的闭式解，在实验中将样本质量最高提升了55%。 如果大语言模型（LLMs）能够发现并纠正自己的错误，那岂不是很好？ 而且，如果能够直接从预训练中实现这一点，而无需任何监督微调（SFT）或强化学习（RL），那会怎样呢？ 最新提出的离散扩散模型，称为GIDD，它能够做到这一点。 在语言建模中，GIDD实现了计算效率匹配的最优性能！ 请注意：不是基于自回归的LLM，是扩散语言模型。 无条件生成与自我纠错算法的比较 来自苏黎世联邦理工学院ETH Zurich等组织的研究团队，推广了掩码扩散（masked diffusion），并推导出一系列广义插值离散扩散模型 ………………………………