统一视觉理解与生成，MetaMorph模型问世，LeCun、谢赛宁、刘壮等参与

文章预览

来源 ：机器之心 本文 约5200字 ，建议阅读 10分钟 本文 探究了 LLM 是否也可以通过微调来生成具有同等效率和有效性的视觉信息？ 如今，多模态大模型（MLLM）已经在视觉理解领域取得了长足进步，其中视觉指令调整方法已被广泛应用。该方法是具有数据和计算效率方面的优势，其有效性表明大语言模型（LLM）拥有了大量固有的视觉知识，使得它们能够在指令调整过程中有效地学习和发展视觉理解。 在 Meta 和纽约大学合作的一篇论文中，研究者探究了 LLM 是否也可以通过微调来生成具有同等效率和有效性的视觉信息？论文作者中包括了 AI 领域的几位知名学者，包括图灵奖得主 Yann LeCun、纽约大学计算机科学助理教授谢赛宁、FAIR 研究科学家刘壮（将于明年 9 月加盟普林斯顿大学，担任计算机科学系助理教授）。 论文标题： MetaMorph: Multimodal Understandin ………………………………