专栏名称: 新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
今天看啥  ›  专栏  ›  新智元

JHU上交等提出首个可渲染X光3DGS!推理速度73倍NeRF,性能提升6.5dB | ECCV 2024

新智元  · 公众号  · AI  · 2024-09-11 12:54

主要观点总结

本文报道了关于X-Gaussian技术的新研究,这是一种基于3D Gaussian Splatting框架的新型技术,专为X光新视角合成而设计。该技术旨在减少医疗成像中的X光辐射剂量,并通过高效的渲染技术提高图像质量、减少训练时间和提升推理速度。文章详细描述了X-Gaussian的方法和技术特点,包括辐射高斯点云模型、可微的辐射光栅化渲染方法以及角度位姿立方体均匀初始化等。与现有方法相比,X-Gaussian在新视角生成任务和稀疏视角CT重建方面取得了显著成果。

关键观点总结

关键观点1: 技术背景

X光由于其强大的穿透力广泛应用于医疗、安检、考古、生物、工业检测等场景的透射成像,但X光的辐射作用对人体有害。为了减少X光对人体的伤害,研究人员提出了新视角生成任务,即只拍摄少数几张X光片,剩下视角的X光片通过渲染得到,用于医生诊断分析。

关键观点2: X-Gaussian技术特点

X-Gaussian是首个能够渲染X光的3D Gaussian Splatting框架,无需计算耗时的Structure-from-Motion(SfM)算法进行初始化。它通过辐射高斯点云模型和可微的辐射光栅化渲染方法,实现了高效的X光新视角合成。

关键观点3: 研究成果

X-Gaussian技术在新视角生成任务上比当前最好的NeRF方法高出6.5dB,推理速度达到73倍。在稀疏视角CT重建任务上,新方法能够辅助传统方法提高PSNR性能超过10dB。

关键观点4: 研究意义

X-Gaussian技术的研究对于减少医疗成像中的X光辐射剂量、提高图像质量、减少训练时间、提升推理速度以及辅助传统CT重建方法具有重要意义。


文章预览

   新智元报道   编辑:LRST 【新智元导读】 X-Gaussian是一种新型的3D Gaussian Splatting框架,专为X光新视角合成而设计,以减少医疗成像中的X光辐射剂量,通过高效的渲染技术,能够在保持图像质量的同时显著减少训练时间和提升推理速度。 ‍ X光由于其强大的穿透力而被广泛地应用于医疗、安检、考古、生物、工业检测等场景的透射成像。 然而,X光的辐射作用对人体是有害的,受试者与测试者都会受到暴露于X光下的影响。 为了减少X光对人体的伤害,约翰霍普金斯大学、香港科技大学(广州)、上海交通大学的研究人员提出了稀疏视角下的X光三维重建任务——新视角生成,即只拍摄少数几张X光片,剩下视角的X 光片通过渲染得到,用以帮助医生进行诊断分析。 论文链接: https://arxiv.org/abs/2403.04116 代码链接: https:// github.com/caiyuanhao19 98/X-Gaussian ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览