智谱AI联合清华发布CogVideoX：文生视频领域再添一黑马！

文章预览

    文章链接：https://arxiv.org/pdf/2408.06072 项目链接：https://github.com/THUDM/CogVideo 近期，国内视频生成领域发展迅速，各家模型都在效果上下足了功夫，可谓神仙打架，前面分享过快手可灵，效果可以媲美Sora，这次智谱AI又发布了 CogVideoX ，效果如何呢，一起来看技术报告解读。 CogVideoX 是一个基于文本提示生成视频的大规模扩散Transformer模型。为了高效地建模视频数据，提出使用3D变分自编码器（VAE）在空间和时间维度上对视频进行压缩。为了改善文本与视频的对齐，提出了一个带有专家自适应LayerNorm的专家Transformer，以促进两种模态之间的深度融合。通过采用渐进式训练技术，CogVideoX能够生成具有显著动作的连贯长时间视频。此外，还开发了一种有效的文本-视频数据处理pipeline，包括各种数据预处理策略和视频字幕生成方法。这大大有助于提升CogVide ………………………………