首个检索增强3D生成模型！实现各种模态生成大一统：文&图&3D都可以

文章预览

王振伟 投稿自 凹非寺 量子位 | 公众号 QbitAI 3D生成也能支持检索增强 （RAG） 了。 有了检索到的参考模型之后，3D生成效果更好，还具有极强的泛化性和可控性。 比如像这张，它生成几何质量得到了极大的改善。 还可以实现主题一致的3D到3D生成，仅需自参考输入的3D模型即可支持该功能。 之前的相关研究需要约1小时，现在压缩不到10秒。 来自香港城市大学、上海人工智能实验室、香港中文大学和南洋理工大学S-Lab的研究人员提出了一种名为Phidias的新3D生成框架。 该框架将语言和图像生成领域中常见的检索增强生成（RAG）引入3D生成。 Phidias是一种参考增强的扩散生成模型。 该模型统一了文生3D、图生3D和3D到3D生成等任务，其利用检索到的或用户提供的3D参考模型来指导3D生成过程，从而提高了生成质量、泛化能力和可控性。 Phidias包含三个关键组 ………………………………