主要观点总结
本文报道了一篇关于扩散模型的论文，该论文探索了在推理阶段通过搜索算法进行性能提升的方法。研究发现在扩散模型中，通过搜索算法对噪声进行优化可以显著提高生成样本的质量。论文提出了一种用于扩散模型推理时scaling的基础框架，并探讨了验证器和算法在搜索过程中的作用。研究包括在不同数据集上的实验，展示了验证器与任务对齐的重要性以及搜索算法的有效性。此外，论文还探讨了搜索与微调之间的兼容性，并分析了不同维度的推理计算投入对性能的影响。
关键观点总结
关键观点1: 研究背景和方向
论文探索了扩散模型在推理阶段的性能提升方法，特别是通过搜索算法对噪声进行优化。
关键观点2: 提出的框架
论文提出了一种用于扩散模型推理时scaling的基础框架，包括验证器和算法两个设计轴。
关键观点3: 验证器的作用
论文探讨了不同验证器在搜索过程中的作用，以及它们与不同生成任务的对齐程度。研究发现验证器的有效性取决于其与任务需求的匹配程度。
关键观点4: 搜索算法的性能
论文研究了不同的搜索算法，包括随机搜索、零阶搜索和路径搜索，并比较了它们在提高样本质量方面的性能。
关键观点5: 搜索与微调的兼容性
论文探讨了搜索方法和微调之间的兼容性，并发现搜索方法可以改进已对齐模型的性能。
关键观点6:
论文分析了不同维度的推理计算投入对模型性能的影响，包括搜索迭代的次数、每次迭代的计算量和最终生成的计算量。
文章预览
机器之心报道 机器之心编辑部 对于 LLM，推理时 scaling 是有效的！这一点已经被近期的许多推理大模型证明：o1、o3、DeepSeek R1、QwQ、Step Reasoner mini…… 但这个说法也适用于扩散模型吗？ 近日，纽约大学谢赛宁领导的一个团队对这一方向进行了探索。具体来说，他们借助通用搜索框架系统性地探索了扩散模型的推理时 scaling 情况。他们发现，推理时 scaling 对扩散模型是有效的 —— 增加推理时间计算可以显著提高扩散模型生成的样本的质量，并且由于图像的复杂性，可以针对不同的应用场景，对框架中的组件进行不同形式的组合。 这篇论文的署名部分还透露出了一个有趣的小细节：谢赛宁的所属机构标记成了谷歌并且通讯作者邮箱也使用了其谷歌域名的邮箱。但我们目前还并不清楚这是否意味着这位著名 AI 研究者已经正式加入谷歌，还是在谷歌
………………………………
