CrossViewDiff：将卫星图像转换成高质量街景全景图的跨视角扩散模型

文章预览

CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis 介绍： https://opendatalab.github.io/CrossViewDiff/ 论文： https://arxiv.org/abs/2408.14765v1 CrossViewDiff  是一种创新的跨视角扩散模型，旨在将卫星图像转换成街景图像，由来自中山大学、上海人工智能实验室和商汤科技的研究人员联合开发。该模型通过构建结构和纹理控制，有效克服了卫星图像与街景图像之间视角差异带来的挑战。 CrossViewDiff 利用深度估计方法生成3D体素作为信息中介，并设计了卫星场景结构估计和跨视角纹理映射模块，从而实现对街景图像合成的精确控制。此外，CrossViewDiff 还引入了一种基于GPT的评分方法，以更全面地评估合成结果，确保生成的街景图像在结构和纹理上与真实场景保持高度一致性。 在技术实现上，CrossViewDiff 采用了增强的跨视角注意力模块，该模块整合了从卫星 ………………………………