开眼看世界(人眼NeRF)：使用人眼图像进行重建辐射场

文章预览

作者 | 陆辰  编辑 | Ai fighting 点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 Abstract 人眼的反射特性是一种未被充分利用的信息源，可以揭示周围世界的样貌。通过拍摄移动中的人物眼睛，我们可以通过眼睛中的反射捕捉到摄像机视线之外的场景的多个视角。在本文中，我们利用包含眼睛反射的肖像图像，重建出摄像机视线之外的辐射场。这项任务具有挑战性，因为两点：1）准确估计眼睛姿态非常困难，2）虹膜纹理与场景反射的外观相互交织。为了解决这些问题，我们的方法共同优化了角膜姿态、描述场景的辐射场以及观察者的虹膜纹理。此外，我们提出了一种针对虹膜纹理的正则化先验，以提高场景重建质量。通过在合成和真实世界的捕捉实验中，测试不同眼睛颜色和光照条件下的 ………………………………