当心环境内容的干扰：大模型GUI智能体的忠实度研究

文章预览

主题 当心环境内容的干扰：大模型GUI智能体的忠实度研究 时间 2024.8.31 10:30-11:30 周六 入群 论文：Caution for the Environment: Multimodal Agents are Susceptible to Environmental Distractions 链接：https://arxiv.org/pdf/2408.02544 大纲 一、背 景：自主智能体     1. 基于大语言模型的自主智能体的发展。     2. 多模态的GUI智能体：大模型玩手机。     3. 智能体的安全风险。 二、智能体的环境干扰     1. 任务定义：提出智能体的忠实度，和“智能体的环境干扰（Distraction for GUI Agents）”问题。     2. 数据模拟：自动化地构造模拟数据集。     3. 智能体的工作模式：形式化了具有不同环境感知级别的工作模式。 三、实验与分析     1. 主要实验结果：智能体对环境干扰的脆弱性会显著降低忠诚度和帮助性，且仅通过增强感知无法完成防护。     2. 分析：进一步比较不同 ………………………………