文章预览
《Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion》这篇论文介绍了一种名为\x26amp;quot;Diffusion Forcing\x26amp;quot;的新训练范式，其中扩散模型被训练以对具有独立每个令牌噪声水平的一组令牌进行去噪。这种方法将应用于序列生成建模，通过训练一个因果下一个令牌预测模型来生成一个或多个未来的令牌，而不必完全扩散过去的令牌。这种方法结合了下一个令牌预测模型的优势，例如可变长度生成，以及全序列扩散模型的优势，例如引导采样到理想轨迹的能力。此外，这种方法还提供了一些附加功能，例如： 1. 推出连续令牌序列，例如视频，其长度超出了训练范围，在此范围内基线发散； 2. 新的采样和引导方案，这些方案独特地利用了扩散强迫的可变范围和因果架构，并在决策和规划任务中带来了显著的性能提升。 此外，论文还证明了这种
………………………………
