【伯克利博士论文】通过视频生成学习关于世界的知识

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 在本论文中，我将展示我的研究，旨在解决视频生成模型的基本架构和扩展中的核心瓶颈，以及这种视频模型在下游任务中的应用。 通过视频生成学习世界的知识 学习大规模视频生成模型为通过互联网规模的视频数据学习视觉世界提供了一个关键途径。学习生成准确的视频需要模型对现实世界的概念有深刻理解，如运动、物理、物体交互和三维一致性。在本论文中，我将展示我的研究，旨在解决视频生成模型的基本架构和扩展中的核心瓶颈，以及这种视频模型在下游任务中的应用。 论文的第一部分，我将通过开发各种方法，解决视频生成模型中的计算瓶颈，学习良好压缩的时空层次表示。具体来说，我首先介绍 VideoGPT ，在该方法中，我们通过一个简单的3D CNN自编码器来学习一个压缩的潜在空间，该自 ………………………………