专栏名称: 专知
专知,为人工智能从业者服务,提供专业可信的人工智能知识与技术服务,让认知协作更快更好!
目录
相关文章推荐
今天看啥  ›  专栏  ›  专知

【ECCV2024】解耦生成与聚合用于鲁棒辐射场

专知  · 公众号  ·  · 2024-09-26 12:00
    

主要观点总结

本文主要介绍了一种基于三平面的辐射场方法,该方法能够有效解耦三维场景并提供高质量的表示和低计算成本。为了改善该方法在精确输入相机姿态方面的要求,提出了全新的解耦三平面生成模块和聚合策略,并引入了两阶段的热启动训练策略。实验结果表明,该方法在具有噪声或未知相机姿态的新视图合成中实现了最先进的性能,同时优化了收敛效率。

关键观点总结

关键观点1: 基于三平面的辐射场方法

该方法能够解耦三维场景并提供高质量的表示和低计算成本,是近年来受到关注的一种技术。

关键观点2: 解耦三平面生成模块

为了改善基于三平面的辐射场方法在精确输入相机姿态方面的要求,引入了该生成模块,以引入全局特征上下文和光滑性,减轻由局部更新引起的误差。

关键观点3: 解耦平面聚合策略

为了缓解在相机姿态更新过程中由于三平面特征聚合造成的纠缠问题,提出了该聚合策略。

关键观点4: 两阶段的热启动训练策略

为了减少由三平面生成器引起的隐性约束,采用了一种两阶段的热启动训练策略。

关键观点5: 实验成果

该方法在具有噪声或未知相机姿态的新视图合成中实现了最先进的性能,同时优化了收敛效率。


文章预览

摘要 :基于三平面的辐射场在近年来受到关注,因其能够有效解耦三维场景,同时提供高质量的表示和低计算成本。该方法的一项关键要求是精确输入相机姿态。然而,由于三平面的局部更新特性,类似于先前的联合姿态-神经辐射场优化工作的联合估计容易导致局部最小值。为此,我们提出了解耦三平面生成模块,以引入全局特征上下文和光滑性,减轻由局部更新引起的误差。随后,我们提出了解耦平面聚合,以缓解在相机姿态更新过程中由于常见三平面特征聚合而造成的纠缠。此外,我们引入了一种两阶段的热启动训练策略,以减少由三平面生成器引起的隐性约束。定量和定性结果表明,我们提出的方法在具有噪声或未知相机姿态的新视图合成中实现了最先进的性能,同时优化的收敛效率也得到了提升。项目页面: https://gaohchen.github.io/DiGARR/。 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览