210-A1.2｜DiT的Scaling Laws；扩散（精确反演编辑，蒸馏，离散）；Rectified扩散，快速流模型｜Fri

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） ————A1.2 Part———— Topic: Image Generation｜Scaling Laws For DiT Scaling Laws For Diffusion Transformers 2024-10-10｜Shanghai AI Lab, CUHK, ByteDance, HKU ｜⭐️ 🟡 http://arxiv.org/abs/2410.08184v1 概述 本研究 首次探讨了扩散变换器（Diffusion Transformers, DiT）的缩放法则 ，揭示了其在内容生成（如图像和视频生成）中的潜力。尽管扩散变换器已在内容再创作中表现出色，但其缩放特性尚未得到充分探讨。通过在不同计算预算下进行实验，研究表明，DiT的预训练损失与计算预算之间呈现出幂律关系。这一发现使得研究人员能够在给定的计算预算下，准确预测模型的最佳规模和所需数据量，并且能够在更高的计算预算下（如1e21 FLOPs）进行有效的性能预测。此外，研究还表明，预训练损失与生成性能（例如FID指 ………………………………