Prompt自相矛盾，大模型能发现吗？上海交通大学最新研究解密 | ECCV 2024

文章预览

上海交通大学王德泉课题组 投稿 量子位 | 公众号 QbitAI 上海交通大学王德泉教授课题组在最新研究中提出了这样的一个问题。 设想这样一个场景：一个幼儿园的小朋友拿着一张 老虎 的图片，向你询问：“这个 小猫 很可爱，它是一只 母猫 么？”你会如何回答？ 你可能并不会直接回答“是”或“不是”，而是首先指出这个提问中的“矛盾”所在—— 这张图片是一只老虎，而不是猫 。 但关于大模型会怎样应对，之前很少有系统性的研究。 要知道，无法检测出“指令冲突”的AI模型会针对“不应该有答案的问题”生成结果，而无论生成的结果偏向于冲突的哪一方，都会引发潜在的灾难，影响AI安全性以及Superalignment （超级对齐） 。 在最新的这项研究中，团队提出了 多模态基准测试 —— 自相矛盾指令集 ，并设计了一个创新的 自动数据集创建框 架 ………………………………