主要观点总结
本文报道了机器之心AIxiv专栏的一篇关于利用大型预训练模型的幻觉减少手动提示依赖性的研究。文章介绍了伦敦大学玛丽女王学院和上海交通大学的研究团队开发的名为ProMaC的框架，该框架能够在通用提示分割任务中准确识别图像中的目标对象及其位置和形状，特别是在伪装动物检测或医学图像分割等复杂任务中表现优异。
关键观点总结
关键观点1: 研究背景
大型预训练模型（如GPT和LLaVA）的幻觉现象被视为一个挑战，特别是在执行精确任务时。然而，最新研究认为这些幻觉可以被转化为有用的信息源，减少对手动提示的依赖。
关键观点2: 研究动机
该研究专注于一种挑战性的任务：通用提示分割任务。在这个框架下，研究只提供一个任务内的通用提示，模型需要完成两项主要任务：根据图片内容有效推理出具体需要分割的目标物体，准确确定目标物体的具体位置和分割的形状。
关键观点3: 研究方法
提出了一个循环优化的ProMaC框架，包括利用幻觉推理样本特有提示的multi-scale chain of thought prompting模块和将生成的掩码与任务语义相对齐的mask semantic alignment模块。
关键观点4: 研究结果
在伪装动物检测和医学图像分割等挑战性任务上进行了实验，并展示了可视化案例。结果表明ProMaC框架能够利用幻觉提取图片中与任务相关的信息，提高分割的准确性。
关键观点5: 结论
该研究提供了一个新视角，即幻觉不一定有害，如果能加以利用，可以为下游任务提供帮助。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 作者胡健，是伦敦大学玛丽女王学院的博士生，导师是龚少刚教授，这篇文章是在龚少刚教授和严骏驰教授的指导下完成的。 在人工智能领域，大型预训练模型（如 GPT 和 LLaVA）的 “幻觉” 现象常被视为一个难以克服的挑战，尤其是在执行精确任务如图像分割时。然而，最新发表于 NeurIPS 2024 的研究《Leveraging Hallucinations to Reduce Manual Prompt Dependency in Promptable Segmentation》提出了一个有趣的观点：这些幻觉实际上可以被转化为有用的信息源，从而减少对手动提示的依赖。 文
………………………………
