AgentClinic：斯坦福和霍普金斯联手打造医疗问答Agent

文章预览

AgentClinic：斯坦福和霍普金斯联手打造医疗问答Agent 发布时间：2024 年 05 月 13 日 Agent应用 AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments 诊断与治疗患者是一个复杂且连续的决策过程，医生需获取信息并据此行动。AI 和 LLMs 的进步是临床护理的福音，但现有评估多依赖静态问答，未能模拟实际的互动决策。为此，我们推出了 AgentClinic，一个多模态评估平台，让 LLMs 在模拟临床环境中扮演医生角色，通过对话和数据收集揭示病情。我们提供了两个环境：AgentClinic-NEJM 结合图像与对话，而 AgentClinic-MedQA 仅含对话。我们模拟了偏见，发现这不仅降低了诊断准确性，还影响了患者的合作意愿和信心。在评估顶级 LLMs 时，我们注意到在传统基准上表现优异的模型在 AgentClinic 中却表现不佳。我们发现，患者代理使用的 LLM 对性能有显著影 ………………………………