COLING 2025 | 多智能体让多模态输入的3D AIGC成为可能

文章预览

团队提出了Idea23D， 从用户的混合交错多模态输入（文本指令、图像、3D 模型）中生成 3D 内容 。Idea23D结合大型多模态模型和现有生成式方法构建智能体，在完全自动化的循环中相互协作，无需人工干预，自动化地生成 3D 内容。 与直接从输入生成3D的方法不同， Idea23D使用查找差异任务作为反馈进行比较分析，使得输出的 3D模型能够更加接近人类偏好 ，实现了 将用户提供的高层次、抽象的多模态交错输入转换为具体3D模型 。Idea23D能够完全自动化地进行3D AIGC任务，展示了基于 LMM 的智能体在改进、评估和验证 3D 模型生成方面的有效性。 同时该团队首次提出了基于多模态输入的  3D AIGC 任务评估数据集Eval3DAIGC-198 ，并通过用户偏好研究和定量实验证明了Idea23D的有效性，为今后的 3D AIGC任务提供了一个可供参考的评估标准。 论文题目：  Idea23D: Collabora ………………………………