斯坦福&哈佛医学院 - MMedAgent，一个用于医疗领域的多模态医疗AI智能体

文章预览

摘要 多模态大型语言模型 （MLLM） 尽管取得了成功，但表现出有限的通用性，并且与专用模型相比往往达不到要求。最近，已经开发了基于 LLM 的智能体，通过根据用户输入选择合适的专业模型作为工具来应对这些挑战。然而，这些进步尚未在医学领域得到广泛探索。为了弥合这一差距，本文介绍了第一个专门为医学领域设计的智能体，名为多模态医学智能体 （MMedAgent）。策划了一个由六种医疗工具组成的指令调整数据集，解决了五种模式的七项任务，使智能体能够为给定任务选择最合适的工具。综合实验表明，与最先进的开源方法甚至闭源模型 GPT-4o 相比，MMedAgent 在各种医疗任务中实现了卓越的性能。此外，MMedAgent 在更新和集成新医疗工具方面表现出效率。 论文链接 - https://arxiv.org/html/2407.02483v2 Github - https://github.com/Wangyixinxin/MMedAgent 演示系 ………………………………