使用大语言模型代理（LLM-Agents）实现自动驾驶场景仿真, 支持用户交互和调整光线与相机角度

文章预览

Abstract 自动驾驶中的场景仿真因其在生成定制数据方面的巨大潜力而备受关注。然而，现有的可编辑场景仿真方法在用户交互效率、多摄像头逼真渲染和外部数字资产集成方面存在局限性。为了应对这些挑战，本文介绍了ChatSim，这是第一个通过自然语言命令和外部数字资产实现可编辑逼真3D驾驶场景仿真的系统。为了实现高命令灵活性的编辑，ChatSim利用了一个大语言模型（LLM）代理协作框架。为了生成逼真的结果，ChatSim采用了一种新颖的多摄像头神经辐射场方法。此外，为了释放高质量数字资产的潜力，ChatSim采用了一种新颖的多摄像头光照估计方法，以实现场景一致的资产渲染。我们在Waymo Open Dataset上的实验表明，ChatSim可以处理复杂的语言命令并生成相应的逼真场景视频。 代码地址： https://github.com/yifanlu0227/ChatSim  欢迎加入自动驾驶实战群 Intr ………………………………