智谱「新清影」是怎样炼成的？CogVideoX+CogSound 技术详解

文章预览

早在 2021 年，我们便开始探索如何基于视频数据大规模训练视频生成模型，先后推出了 CogVideo （Hong et al. 2022）和 CogVideoX （Yang, Teng et al. 2024）系列模型。 CogVideoX 团队在数据筛选、模型结构、视频理解、transformer 架构和训练框架等多个方面进行了多项创新，并 验证了 scaling law 在视频生成方面的有效性 。 2024 年 7 月，清言上线了国内首个面向公众开放的视频生成产品“清影”。 如今， 清影迎来了重要升级： 10s 时长、4k、60 帧超高清画质、任意尺寸，自带音效，以及更好的人体动作和物理世界模拟 。 具体体现为： 模型能力全面提升 ：在图生视频的质量、美学表现、运动合理性以及复杂提示词语义理解方面能力明显增强。 4K超高清分辨率 ：支持生成 10s、4K、60 帧超高清视频，视觉体验拉到极致，动态画面更加流畅。 可变比例 ：支持任意比例的 ………………………………