AI实时生成游戏！谷歌推出GameNGen，每秒20帧输出

文章预览

“ DIFFUSION MODELS ARE REAL-TIME GAME ENGINES ” AI杀疯了！继生成静态图和动态视频之后，AI已经可以实时实时生成游戏了！ 谷歌推出首个完全AI驱动的实时游戏引擎GameNGen。 在单个TPU上，它以每秒20帧模拟起了经典射击类游戏DOOM（毁灭战士）。 所有游戏画面都是根据玩家操作，与复杂环境进行交互，实时生成。 项目主页：https://gamengen.github.io 论文地址 ：https://arxiv.org/abs/2408.14837 摘要 GameNGen是第一个完全由神经模型驱动的游戏引擎，可以在高质量的长轨迹下实时交互复杂环境。它可以在单个TPU上以超过20帧每秒的速度交互模拟经典游戏DOOM。下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。 GameNGen分为两个阶段进行训练：(1) RL代理学习玩游戏并记录训练会话，(2) 扩散模型训练以产生下一帧，条件是过去帧和动作的序列。条件增强使得长轨迹上的稳定自回归生 ………………………………