CVPR 2024 | SD-DiT：判别式自监督学习范式，让DiT训练更智能

文章预览

席位有限！点击图片，即刻报名～ Diffusion Transformer（DiT），作为文生视频模型SORA的主要网络结构，近几个月引起了人们的高度关注。DiT 给扩散模型带来了  Transformer 架构，并且使得模型的训练达到相对较大的规模，但是它的训练收敛速度相对较慢。之前的工作引入视觉自监督表征学习中的 Mask  策略，这一策略可以显著提升 DiT 的训练效率，并且促进了模型在图像内部情境学习方面的进一步发展。尽管如此， Mask 策略对于扩散生成模型来说存在一定的局限性，比如 mask 的重建任务与图像生成任务的关联性并不明确，限制了 DiT 训练过程的进一步优化。 本文将介绍一篇 CVPR 2024 的会议论文——《SD-DiT：使用判别式自监督学习范式来帮助DiT加快训练收敛》。本文的研究团队来自HiDream.ai智象未来，香港中文大学（深圳）和香港理工大学， 作者 通过 teache ………………………………