Nat. Mach. Intell. | 投毒！Scorpius揭示现有医学知识图谱存在巨大风险

文章预览

DRUG AI 今天为大家介绍的是来自北京大学计算机学院的张铭教授团队与华盛顿大学的Sheng Wang团队联合发表的一篇论文。生物医学知识图谱（KGs）由医学文献构建，广泛应用于验证生物医学发现和生成新假设。最近，大型语言模型（LLMs）展现了生成类似人类文本数据的强大能力。尽管大多数生成的数据都具有实际用途，但LLMs也可能被用于生成恶意内容。本研究探讨了恶意行为者是否可能利用LLMs生成恶意论文，以毒害医学知识图谱，进而影响下游生物医学应用。作为概念验证，作者开发了Scorpius模型，这是一种条件文本生成模型，能够基于特定药物和目标疾病生成恶意论文摘要。其目标是通过将恶意摘要与数百万真实论文混合，构建一个欺骗性的医学知识图谱，使得图谱用户错误地认为该药物与目标疾病相关。作者在包含3818528篇论文的知识图谱上对S ………………………………