GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案

主要观点总结

本文介绍了阿里巴巴的研究人员在游戏AI领域取得的进展。他们提出了一个名为VARP的新型智能体框架，能够直接通过游戏截图输入，利用视觉语言模型进行动作推理和生成，从而操作游戏。在《黑神话·悟空》游戏中，该智能体在简单和中等水平战斗场景中取得了高胜率，甚至在某些场景中表现超过人类玩家。文章还介绍了研究团队的工作，包括数据集构建、智能体框架的组成部分以及未来计划等。

关键观点总结

关键观点1: 新型VARP智能体框架的介绍和应用

VARP智能体框架能够直接通过游戏截图输入，利用视觉语言模型进行动作推理和生成，从而操作游戏。

关键观点2: AI在游戏《黑神话·悟空》中的表现

在《黑神话·悟空》中，AI智能体在简单和中等水平战斗场景中表现优秀，甚至在某些场景中胜过人类玩家。

关键观点3: 研究团队的工作和成果

研究团队构建了人类操作数据集，定义了特定任务，并提出了VARP智能体框架的组成部分。他们的工作包括动作规划系统、人类引导轨迹系统以及三个库：情景库、动作库和人工引导库。

关键观点4: AI打游戏的挑战和限制

VLMs推理速度的限制导致无法实时输入每一帧画面，只能在关键帧进行输入。游戏中没有明确的道路引导和空气墙问题也使得智能体无法自行找到正确路线。

关键观点5: 未来计划和荣誉提及

研究团队有发布相关代码和数据集的计划。此外，量子位2024人工智能年度评选已开启报名通道，评选结果将于12月的MEET2025智能未来大会公布。

文章预览

小明 发自 凹非寺 量子位 | 公众号 QbitAI AI玩黑神话，第一个精英怪牯护院轻松拿捏啊。 有方向感，视角也没有问题。 躲闪劈棍很丝滑。 甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。 而且是完全使用大模型玩， 没有使用强化学习 。 阿里巴巴的研究人员们提出了一个新型VARP（视觉动作角色扮演）智能体框架。 它能直接将游戏截图作为输入，通过视觉语言模型推理，最终生成Python代码形式的动作，以此来操作游戏。 以玩《黑神话·悟空》为例，该智能体在90%简单和中等水平战斗场景中取胜。 GPT-4o、Claude 3.5都来迎战 研究人员以《黑神话·悟空》为研究平台，一共定义了12个任务，75%与战斗有关。 他们构建了一个人类操作数据集，包含键鼠操作和游戏截图，一共1000条有效数据。 每个操作都是由原子命令的各种组合组成的序列。原子命令包括 ………………………………