在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署

文章预览

作者：十九 编辑： 李宝珠， 三羊 上海人工智能实验室开源了全球首个文生视频 DiT—— Latte，作为一款与 Sora 技术相似的自研模型，Latte 可以自由部署，应用于 影视动画制作、游戏开发和广告设计等领域， 对于想要探索文生视频技术的小伙伴来说，开源的 Latte 无疑为大家提供了可供实践的机会。 自 OpenAI 推出 Sora 以来，「文生视频」概念及相关应用备受瞩目。而 伴随 Sora 的大热， 其背后的关键技术， DiT (Diffusion Transformers) 也被「考古挖掘」了出 来。 事实上，DiT 是一个文生图模型，该模型于两年前开源，其研发人员分别是 Peebles 和谢赛宁，其中 Peebles 也是 Sora 的项目领导者之一。 在 DiT 模型提出之前，Transformer 以其强大的特征提取和上下文理解能力， 几乎 在自然语言处理领域独霸一方。而 U-Net 则以其独特架构和优越的性能，在图像生成和 ………………………………