Quark：来自 Google 的实时高分辨率通用神经视角合成算法

文章预览

Quark: Real-time, High-resolution, and General Neural View Synthesis 介绍： https://quark-3d.github.io/ 论文： https://arxiv.org/abs/2411.16680v1 Quark  是由 Google 团队研发的一种新型神经算法，它能够实现实时、高分辨率且通用的新型视角合成。 Quark 通过从一组多视图图像或视频流中重建3D场景，并以30fps的速度在1080p分辨率下渲染出新的视图，显著提升了动态视角下图像的合成质量。 该算法采用了分层深度图（LDM）来高效表示复杂深度和遮挡的场景，结合多尺度学习和基于Transformer的视图融合技术，优化了信息聚合过程，从而在保持高效率的同时，达到了与一些顶级离线方法相媲美的图像质量。 Quark 的特点在于其创新的算法设计，它不仅在实时性上取得了突破，还在多个数据集和场景中展现了卓越的泛化能力。通过一系列优化，包括One-to-many注意力机制和层级崩塌技术，Quark ………………………………