直播报名｜北大，基于金字塔流的高效自回归，视频生成模型

主要观点总结

报告介绍了基于金字塔流的高效自回归视频生成模型。该模型旨在解决视频生成中巨大的维度空间带来的海量数据和算力需求问题。报告指出了传统生成方式如Sora范式的不足，并为此提出了一种同时进行压缩和生成的金字塔流生成建模框架。该框架包括针对视频空间复杂度的空间金字塔流和针对时间复杂度的自回归式建模的时间金字塔。报告还介绍了参与嘉宾金阳及其学术背景。

关键观点总结

关键观点1: 视频生成的重要性和挑战

视频生成对于建模真实的物理世界动态具有重要作用，但巨大的维度空间带来海量数据和算力需求，需要高效的视频生成算法。

关键观点2: 金字塔流生成建模框架的提出

报告提出了一种同时进行压缩和生成的金字塔流（Pyramid-Flow）生成建模框架，包括空间金字塔流和时间金字塔。

关键观点3: 空间金字塔流的设计

针对视频的空间复杂度，设计了包含多个不同阶段分辨率的空间金字塔流，减少早期时间步长的冗余计算。

关键观点4: 时间金字塔的设计

针对视频的时间复杂度，设计了一种自回归式建模的时间金字塔，对长视频建模中的历史信息进行去冗余的压缩。

关键观点5: 报告嘉宾介绍

报告嘉宾金阳是北大学术成就卓越的博士研究生，研究兴趣集中在多模态大语言模型、大规模预训练、图像和视频生成等领域。

文章预览

报告主题： 视频生成｜北大，基于金字塔流的高效自回归视频生成模型 报告日期： 1 0月31日（周四）14:30-15:30 报告要点: 学习生成视频对于建模真实的物理世界动态具有重要作用。但是视频巨大的维度空间往往带来海量的数据和算力需求，这使得设计一个高效的视频生成算法尤为重要。我们观察到，视频生成模型的训练效率瓶颈主要来自于对视觉信号的压缩程度不够，传统的类似Sora范式的生成方式难以取得较高的压缩率和训练效率。在这篇工作中，我们提出了一种同时进行压缩和生成的金字塔流(Pyramid-Flow)生成建模框架。 针对视频的空间复杂度，我们设计了包含多个不同阶段分辨率的空间金字塔流。在这样的去噪轨迹中，只有最后阶段以全分辨率进行计算，大大减少了早期时间步长的冗余计算。针对视频的时间复杂度，我们设计了一种自回归式 ………………………………