主要观点总结
文章介绍了阿里巴巴的研究人员利用新型VARP智能体框架，通过大模型玩《黑神话·悟空》游戏并取得显著成果。该智能体在简单和中等水平战斗场景中表现出色，甚至在一些场景中胜过人类玩家。文章还提到了该智能体的研究细节、技术实现以及存在的问题。
关键观点总结
关键观点1: 新型VARP智能体框架介绍
文章介绍了阿里巴巴研究人员提出的VARP智能体框架，该框架能够通过游戏截图作为输入，通过视觉语言模型推理，生成Python代码形式的动作，从而操作游戏。
关键观点2: AI在《黑神话·悟空》游戏中的表现
AI在简单和中等水平的战斗场景中表现出色，甚至在一些场景中胜过人类玩家。特别是第一个精英怪牯护院，AI的胜率已经超过人类。
关键观点3: VARP智能体的技术实现
VARP智能体框架主要包括动作规划系统和人类引导轨迹系统。动作规划系统利用情境库、动作库和人工引导库进行推理和生成动作。人类引导轨迹系统则利用人类操作数据改进智能体性能。
关键观点4: AI打游戏存在的问题
研究提到了VARP智能体存在的问题，包括VLMs推理速度的限制，无法实时输入每一帧画面；智能体在某些情况下会错过boss攻击的关键信息；在没有人类引导下，智能体不能自己找到正确的路线。
关键观点5: 文章结尾推荐阅读
文章最后推荐了一些相关的阅读文章，涉及《黑神话·悟空》的开发语言、Windows系统问题、腾讯游戏关停、虚拟服务器事件以及地图数据抓取等话题。
文章预览
↓ 推荐关注↓ 转自：量子位 | 公众号 QbitAI AI玩黑神话，第一个精英怪牯护院轻松拿捏啊。 有方向感，视角也没有问题。 躲闪劈棍很丝滑。 甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。 而且是完全使用大模型玩， 没有使用强化学习 。 阿里巴巴的研究人员们提出了一个新型VARP（视觉动作角色扮演）智能体框架。 它能直接将游戏截图作为输入，通过视觉语言模型推理，最终生成Python代码形式的动作，以此来操作游戏。 以玩《黑神话·悟空》为例，该智能体在90%简单和中等水平战斗场景中取胜。 GPT-4o、Claude 3.5都来迎战 研究人员以《黑神话·悟空》为研究平台，一共定义了12个任务，75%与战斗有关。 他们构建了一个人类操作数据集，包含键鼠操作和游戏截图，一共1000条有效数据。 每个操作都是由原子命令的各种组合组成的序列。原子命令
………………………………
