人大&字节最新成果｜FlexWorld：首次实现从单图生成高保真动态3D场景的突破性框架

文章预览

作者 |  Luxi Chen   编辑 | 深蓝AI 点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 从单张图像生成灵活视角（如360°旋转、缩放）的3D场景是计算机视觉领域的核心挑战，其难点在于单视角图像缺乏3D几何信息，现有方法在视角跨度大时易出现模糊或结构失真。针对这一瓶颈，本文提出FlexWorld框架，通过两阶段创新实现突破： 首先， 基于预训练视频扩散模型构建高质量新视角生成器（V2V），利用深度估计数据提升跨视角一致性，解决大角度视角变换下的内容生成问题； 其次， 设计渐进式场景扩展策略，通过几何感知融合将局部生成内容逐步整合为全局一致的3D场景。 ©️【深蓝AI】编译 该框架在多项指标和数据集上超越现有方法， 首次实现了从单图生成高保真动态场景（如全景旋转与缩放 ………………………………