让小模型也能有大作为！SANA 1.5：线性扩散Transformer再刷文生图新SOTA

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   把模型参数从 1.6B (20 blocks) 缩放到 4.8B (60 blocks)，重用小模型的知识。不用从头开始训练模型   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 SANA 1.5：线性扩散 Transformer 的 Training-time Compute 以及 Inference-time Compute 的高效扩展 (来自 NVIDIA, MIT 韩松团队，清华) 1 Sana 1.5 论文解读 1.1 Sana 1.5 研究背景 1.2 高效的 Model Growth 方法 1.3 Model Depth 剪枝方法 1.4 Inference-time Scaling 策略 1.5 实验设置 1.6 实验结果 太长不看版 SANA + 缩放参数高效训练 + 深度剪枝 + 推理时计算。 SANA 1.5 是 NVIDIA 的研究员，联合 MIT 韩松团队在 SANA 做 efficient scaling 的模型。在 SANA 的基础上引入了 3 个改进： 1) 高效的 Model Growth 方法： 一种把模型参数从 1.6B 缩放到 4.8B，且大幅降低计算资源的方案，结 ………………………………