北京大学张铭团队-大语言模型-医学图谱推理 | Nature Machine Intelligence

主要观点总结

北大计算机学院在Nature子刊发表研究论文，张铭教授团队联合华盛顿大学发现大语言模型可轻易误导大规模医学图谱推理系统。论文开发了名为Scorpius的条件文本生成系统，针对药物-疾病关系生成恶意文本，揭示并评估了大模型误用对医学发现的潜在风险，并开发了防御策略。研究具有紧迫性和重要性。

关键观点总结

关键观点1: 研究背景及意义

随着大模型和知识图谱推理的广泛应用，其潜在风险日益凸显。研究团队的工作具有十分重要且紧迫的研究意义。

关键观点2: 研究成果

研究团队在Nature Machine Intelligence上发表了题为“Poisoning medical knowledge using large language models”的研究论文，开发了Scorpius条件文本生成系统，利用大模型为指定的药物-疾病关系对生成恶意文本。研究发现，仅一篇恶意文本就能显著误导推理系统对药物-疾病关系的认知。

关键观点3: 论文内容及实验

研究团队探究了大语言模型对医学知识图谱的毒害性，通过条件文本生成模型开发Scorpius系统，并针对药物-疾病关系生成恶意摘要。实验表明，该系统能在混合真实论文后影响医学知识图谱的构建，误导使用者对药物-疾病关系的认知。同时，研究也提出了高效的防御手段来减少误导产生的负面影响。

关键观点4: 研究亮点

研究不仅衡量了医学图谱推理系统中各环节的可毒害性，还从defender设计和数据增强的角度对减少毒害做出了探索。揭示了基于公开数据集的医学图谱推理存在的高危漏洞，为在大模型时代开展更可信的医学知识发现开辟了新的研究思路。

关键观点5: 开源与可交互工具

论文链接、Scorpius的训练数据、代码、模型已开源，并提供了可交互服务器，方便研究人员和公众了解和体验。

文章预览

北大计算机学院登Nature子刊：张铭教授团队联合华盛顿大学发现大语言模型可以轻易误导大规模医学图谱推理系统 从科研文本中构建的生物医学知识图谱已被广泛应用于辅助医学决策和挖掘新的医学发现。同时，大语言模型已经展示出了生成高质量文本的强大能力，此类文本在产生正面效益的同时也可能污染公开数据库造成不可控的负面影响。基于这些受污染数据库构建的医学知识图谱推理系统面临潜在风险，可能影响药物推荐和疾病研究等决策，甚至对患者的治疗效果和安全构成威胁。因此，揭示并准确评估这种风险，并制定相应的防御策略，在当今大模型和知识图谱推理广泛应用的背景下，具有十分重要且紧迫的研究意义。 2024年9月20日，北京大学计算机学院张铭教授团队联合华盛顿大学助理教授王晟、博士后肖之屏在国际顶尖人工智能期刊N ………………………………