英伟达「世界基础模型」诞生，引爆物理AI革命！75页报告出炉，GitHub狂飙2k星

主要观点总结

英伟达发布首个世界基础模型平台Cosmos，旨在解决物理AI数据不足的问题。该平台包括四大功能模块，利用扩散模型和自回归模型进行世界基础模型的预训练和后训练。此外，Cosmos还包括视频编辑、视频分词等功能。评估结果表明，Cosmos在性能上显著超越了现有分词器，其世界基础模型预训练利用两种不同的深度学习范式构建两类WFM。最后，展示了Cosmos在机器人操作、自动驾驶等领域的应用潜力。

关键观点总结

关键观点1: 平台简介

英伟达发布的世界基础模型平台Cosmos，旨在解决物理AI数据不足的问题。

关键观点2: 功能模块

包括扩散模型、自回归模型、视频编辑、视频分词等功能。

关键观点3: 世界基础模型预训练

利用两种不同的深度学习范式——扩散模型和自回归模型进行预训练，生成高质量的视频。

关键观点4: 评估结果

评估结果表明，Cosmos在性能上显著超越了现有分词器。

关键观点5: 应用潜力

展示了Cosmos在机器人操作、自动驾驶等领域的应用潜力，如基于指令的视频预测、基于动作的下一帧预测等。

文章预览

   新智元报道   编辑：编辑部 【新智元导读】 昨天，英伟达官宣了首个「世界基础模型」Cosmos。从此，物理AI数据不够的问题将有望解决！而就在刚刚，75页技术报告火热出炉，GitHub项目更是冲破了2k星。 CES大会上，老黄称，「AI下一个前沿就是物理AI」。 为此，英伟达重磅官宣了世界基础模型开发平台——Cosmos，其模型基于在200万小时视频上完成训练。 它一共包含了四大功能模块： 扩散模型 、 自回归模型 、 视频分词器 ，以及 视频处理与编辑流程 。 用英伟达高级科学家Jim Fan的话来总结： 两种形式： 扩散模型（生成连续的token）；自回归模型（生成离散的token） 两种生成模式： 文本->视频；文本+视频->视频 Cosmos诞生就是为了拯救物理AI数据不够的问题！现如今，开发者们可以直接生成合成数据，将其用于自动驾驶和机器人研究中。 它一共 ………………………………