1890美元，就能从头训练一个还不错的12亿参数扩散模型

文章预览

只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。 现阶段，视觉生成模型擅长创建逼真的视觉内容，然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研究者使用最先进的方法，也需要在 8×H100 GPU 上训练一个多月的时间。 此外，训练大模型也对数据集提出了挑战，这些数据基本以亿为单位，同样给训练模型带来挑战。 高昂的训练成本和对数据集的要求为大规模扩散模型的开发造成了难以逾越的障碍。 现在，来自 Sony AI 等机构的研究者仅仅花了 1890 美元，就训练了一个不错的扩散模型， 具有 11.6 亿参数的稀疏 transformer。 论文地址：https://arxiv.org/pdf/2407.15811 论文标题：Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget 项目（即将发布）：https://github.com/SonyResearch/micro_diff ………………………………