178-B2｜扩散模型是实时游戏引擎；生成与重建不同姿态3D表面，分层渐进式3D高斯用于自适应流式传输，通过迁移学习实现稀疏重建

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） Topic: Agent｜Diffusion & RL｜Real-Time Game Engines Diffusion Models Are Real-Time Game Engines 2024-08-27｜Google Research, Tel Aviv U, Google DeepMind｜⭐️ http://arxiv.org/abs/2408.14837v1 https://gamengen.github.io/ 概述 本文介绍了一种新型游戏引擎GameNGen， 它完全基于神经网络模型，能够在复杂环境中实现实时交互模拟 。GameNGen特别针对经典游戏《DOOM》进行了优化， 能以每秒超过20帧的速度进行高质量的游戏互动 。该模型通过 两个阶段进行训练 ：首先， 使用强化学习（RL）代理学习玩游戏并记录训练过程 ；其次， 训练一个扩散模型来生成下一个游戏帧，基于过去帧和动作的序列来进行条件生成 。研究表明，该模型在生成下一个帧时的峰值信噪比（PSNR）为29.4，接近有损JPEG压缩的性能。此外，参与评估的人工评 ………………………………