【重磅头条】Agent Q智能体发布，利用自我对弈和强化学习, 实现自我纠正和自主改进！

主要观点总结

初创公司MultiOn发布了名为Agent Q的智能体，宣称其在预订任务中有95.4%的成功率。该智能体具备规划、推理、自我修复功能，通过结合搜索、自我反思和强化学习进行工作。其核心技术包括基于蒙特卡洛树搜索的引导式搜索、AI自我批评和直接偏好优化等。文章还讨论了该智能体的评估实验、当前方法的局限性以及可能的改进方向。

关键观点总结

关键观点1: MultiOn公司发布了名为Agent Q的智能体。

Agent Q是一个能够推理并搜索的自监督智能体框架，可以通过互联网上的真实任务进行自我对弈和强化学习，实现自我纠正和自主改进。

关键观点2: Agent Q的智能体具备强大的功能。

Agent Q结合了引导式蒙特卡洛树搜索（MCTS）、AI自我反思与迭代微调方法，以及直接偏好优化（DPO）等RLHF算法，解决了LLM训练技术的局限性，实现了自主网页导航。

关键观点3: Agent Q在评估实验中表现出强大的性能。

在模拟网上商店的任务中，Agent Q的任务成功率从28.6%提升至50.5%。在真实的Open Table预订任务中，Agent Q将LLaMa-3的零样本成功率从18.6%提升至81.7%，分数提高比例达340%，并且仅经过了一天的自主数据收集。

关键观点4: Agent Q当前方法的讨论和改进空间。

虽然Agent Q表现出了强大的性能，但目前的方法仍存在许多讨论和改进的空间，包括推理算法的设计、MCTS引起的有风险的交互行为、在线安全与交互等问题。

文章预览

【导读】 初创公司MultiOn最近发布了号称「目前最强」的Agent Q，在真实的预订任务中可以达到95.4%的成功率。网友纷纷猜测其背后有OpenAI神秘的Q*项目加持。 没有等来OpenAI的Q*/草莓项目的发布，一家名为MultiOn初创公司却抢先发布了名为Q的智能体。 非常高兴地宣布我们过去6个月的工作——Agent Q现已上线！这是一个能够推理并搜索的自监督智能体框架，并可以通过互联网上的真实任务进行自我对弈和强化学习，实现自我纠正和自主改进！ 更引起关注的是，MultiOn联创/CEO Div Garg在推特上提及Agent Q时，总不忘带上这个显眼的🍓。 这引来了各路吃瓜群众的持续围观，有人猜测，Agent Q背后的大boss正是OpenAI的Q*项目。 不仅如此，MultiOn还给Agent Q开设了独立的推特账号，经常输出各种奇怪言论且「人机难辨」。 账号的背景图片以及基本信息更是处处碰瓷草莓 ………………………………