CVPR 2024 | 如何给 NeRF 开透视眼？

文章预览

关注公众号，发现CV技术之美 本文为粉丝投稿，原文链接：https://zhuanlan.zhihu.com/p/702702109。 本文介绍我们在 CVPR 2024 上的新工作《Structure-Aware Sparse-View X-ray 3D Reconstruction》。 本文提出了一种用于稀疏视角下 X 光三维重建（如下边的 GIF 所示）的 NeRF 方法。具体而言，主要做两个任务。一是 X 光的新视角合成 (Novel View Synthesis, NVS)，二是 CT 重建，可以简单理解为体密度的重建。后边会详细介绍。 X 光三维重建动态 demo paper: https://arxiv.org/abs/2311.10959 code: https://github.com/caiyuanhao1998/SAX-NeRF video: https://www.youtube.com/watch?v=oVVUaBY61eo leaderboard: https://paperswithcode.com/dataset/x3d 先给大家看一个在新视角合成任务上的性能对比图： 图1 我们的方法与 SOTA 方法在医学、生物、安检、工业场景上的新视角合成性能对比 目前所有的训练测试代码、预训练权重、训练日志、数据 ………………………………