主要观点总结
阿里云旗下的视觉生成基座模型万相 2.1 重磅开源,包括 14B 和 1.3B 两个参数规格,全部推理代码和权重都开源。该模型支持文生视频和图生视频任务,并在多个测评集中表现优秀,特别是 14B 万相模型在指令遵循、复杂运动生成等方面突出。它是首个支持中文文字生成的视频生成模型。
关键观点总结
关键观点1: 模型介绍
阿里云旗下的视觉生成基座模型万相 2.1 采用最宽松的 Apache2.0 协议开源,包含两个参数规格,即 14B 和 1.3B。该模型支持文生视频和图生视频任务。
关键观点2: 模型表现
万相 2.1 在多个测评集中表现优秀,特别是在指令遵循、复杂运动生成、物理建模、文字视频生成等方面。在 VBench 评测中,万相 2.1 以总分 86.22% 的成绩大幅超越其他国内外模型,稳居榜首。
关键观点3: 技术创新与特点
万相 2.1 基于 DiT 架构和 Flow Matching 范式,研发了高效因果 3D VAE 和可扩展预训练策略。它实现了特征缓存机制,支持无限长 1080P 视频编解码,并通过空间降采样压缩减少 29% 内存占用。此外,它还是首个支持中文文字生成的视频生成模型。
关键观点4:
万相 2.1 的开源地址、HuggingFace 和魔搭社区链接已提供。该模型适用于二次模型开发、学术研究,能在消费级显卡运行,仅需 8.2GB 显存就可以生成高质量视频。
文章预览
就在刚刚,阿里云旗下视觉生成基座模型万相 2.1(Wan)重磅开源。 📖 据悉,此次开源采用最宽松的 Apache2.0 协议,14B 和 1.3B 两个参数规格的全部推理代码和权重全部开源,同时支持文生视频和图生视频任务。 14B 万相模型在指令遵循、复杂运动生成、物理建模、文字视频生成等方面表现突出。在评测集 VBench 中,万相 2.1 以总分 86.22% 的成绩大幅超越 Sora、Luma、Pika 等国内外模型,稳居榜首位置。 1.3B 版本测试结果不仅超过了更大尺寸的开源模型,甚至还接近部分闭源模型,同时能在消费级显卡运行,仅需 8.2GB 显存就可以生成高质量视频,适用于二次模型开发和学术研究。 值得注意的是,万相 2.1 还是首个具备支持中文文字生成能力,且同时支持中英文文字特效生成的视频生成模型。 技术创新: 1️⃣ 基于 DiT 架构和 Flow Matching 范式 2️⃣ 研发高
………………………………