Sim Anything：利用Gaussian Splatting技术自动实现开放世界场景的 3D 物理模拟

文章预览

24年11月来自武汉大学、华中理工、西安交大、香港中文大学广州分校和浙大的论文“Sim Anything: Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting”。 3D 生成模型的最新进展为模拟动态 3D 目标运动和定制行为开辟了新的可能性，但创建此类内容仍然具有挑战性。当前的方法通常需要手动分配精确的物理属性以进行模拟，或者依靠视频生成模型来预测它们，这需要大量计算。本文重新思考多模态大型语言模型 (MLLM) 在基于物理模拟中的使用，提出 Sim Anything ，一种基于物理的方法，赋予静态 3D 目标交互动态。从详细的场景重建和目标级 3D 开放词汇分割 开始，然后进行多视图图像修复。受人类视觉推理的启发，提出 基于 MLLM 的物理属性感知 (MLLM-P3) ，以零样本方式预测目标的平均物理属性。然后， 材料属性分布预测模型 (MPDP) 根据平均值和目 ………………………………