视觉语言模型能玩《黑神话：悟空》吗？

文章预览

文章研究了视觉语言模型（ VLMs ）在动作角色扮演游戏（ ARPG ），特别是《黑神话：悟空》中的应用潜力，并提出了一个 视觉动作角色扮演（Vision Action Role-Playing：VARP） 智能体 框架，它包括动作规划系统和人类引导的轨迹系统，旨在通过仅使用视觉输入来执行复杂的动作输出，在游戏任务中取得了一定的成功率，尤其是在战斗场景上。为了推动这一领域的发展，研究人员还公开了一个包含游戏操作记录的人类操作数据集，并将最新成果与多个先进的 VLM 模型进行了基准测试。 1 VARP框架 VARP框架有如下一些特点： 视觉输入：VARP直接从游戏中获取屏幕截图作为输入，这使得智能体能够仅基于视觉信息来生成操作。 Python 代码生成： 通过一组视觉语言模型的推理， VARP 最终生成的是形式化的 Python 代码，这些代码可以用来直接控制游戏角色执行动作。 ………………………………