田渊栋团队新作祭出Agent-as-a-Judge！AI智能体自我审判，成本暴跌97%

文章预览

   新智元报道   编辑：桃子 【新智元导读】 AI评估AI可靠吗？来自Meta、KAUST团队的最新研究中，提出了Agent-as-a-Judge框架，证实了智能体系统能够以类人的方式评估。它不仅减少97%成本和时间，还提供丰富的中间反馈。 AI智能体，能否像人类一样有效地评估其他AI智能体？ 对于AI智能体来说，评估决策路径一直是棘手的问题。 已有的评估方法，要么只关注结果，要么要要过多的人工完成。 为了解决这一问题，田渊栋、Jürgen Schmidhuber带领的团队提出了「Agent-as-a-Judge」框架。 简言之，让智能体来评估智能体系统，让AI审AI。 它不仅可以减少97%的成本和时间，还能提供丰富的中间反馈。 这是「LLM-as-a-Judge」框架的有机延伸，通过融入智能体特性，能够为整个任务解决过程提供中间反馈。 论文地址：https://arxiv.org/abs/2410.10934v1 研究人员提出了DevAI基准， ………………………………