三维点增强与正则化：提升视频生成的物理感知能力

文章预览

作者 |  ADFeed 点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach 介绍： https://snap-research.github.io/PointVidGen/ 论文： https://arxiv.org/abs/2502.03639v1 来自 Snap 公司的研究团队开发了一种新型的视频生成框架，通过引入三维点轨迹信息来增强传统二维视频生成模型的物理感知能力。 现有视频生成模型主要依赖二维像素的运动，缺乏对三维空间中物体形状和运动的准确理解，导致生成的视频中常常出现物体变形、突变等非物理现象。为解决这一问题，研究者们构建了一个三维感知视频数据集（PointVid），并通过对二维视频数据进行三维点增强和正则化处理，使模型能够更好地捕捉物体的真实形状和运动规律。 此外，该方法通过联合训练 ………………………………