CVPR 2024 Highlight | 北航等发布「时间特征维护」：无需训练，极致压缩加速Diffusion

文章预览

   新智元报道   编辑：LRST 好困 【新智元导读】 拯救4bit扩散模型精度，仅需时间特征维护——以超低精度量化技术重塑图像内容生成！ 近日，北航、莫纳什、UT Austin联合推出了时间特征维护的扩散模型低精度无损量化方法TFMQ-DM。 不仅以4bit的权重大小实现了目前无损条件下最极限的扩散模型训练后压缩，同时还实现了超过2.38倍真实硬件加速。 这一发现再次将Diffusion压缩推向全新的高度。 目前，该工作已被CVPR 2024高分接收，并被接收为Highlight Poster (Top 2.8%)。 论文地址：https://arxiv.org/pdf/2311.16503 代码地址：https://github.com/ModelTC/TFMQ-DM 扩散模型由于引入了时间变量t，于是在模型中注入了时序信息，这正是扩散模型不同于以往传统视觉模型的一大特征。 同时该变量也通过将时序特征融入模型去控制去噪过程。研究人员首次定义了时间特征emb，同时 ………………………………