【他山之石】CVPR 2024 | SD-DiT：判别式自监督学习范式，让DiT训练更智能！！！

文章预览

“ 他 山 之 石 ， 可 以 攻 玉 ” ， 站 在 巨 人 的 肩 膀 才 能 看 得 更 高 ， 走 得 更 远 。 在 科 研 的 道 路 上 ， 更 需 借 助 东 风 才 能 更 快 前 行 。 为 此 ， 我 们 特 别 搜 集 整 理 了 一 些 实 用 的 代 码 链 接 ， 数 据 集 ， 软 件 ， 编 程 技 巧 等 ， 开 辟 “ 他 山 之 石 ” 专 栏 ， 助 你 乘 风 破 浪 ， 一 路 奋 勇 向 前 ， 敬 请 关 注 ！ Diffusion Transformer（DiT），作为文生视频模型SORA的主要网络结构，近几个月引起了人们的高度关注。DiT 给扩散模型带来了  Transformer 架构，并且使得模型的训练达到相对较大的规模，但是它的训练收敛速度相对较慢。之前的工作引入视觉自监督表征学习中的 Mask  策略，这一策略可以显著提升 DiT 的训练效率，并且促进了模型在图像内部情境学习方面的进一步发展。尽管如此， Mask 策略对于扩散生成模 ………………………………