Traj-LLM：使用预训练大语言模型赋能轨迹预测的探索

文章预览

24年5月北航的论文“Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models”。 预测动态交通参与者的未来轨迹是自动驾驶的一项基石任务，在场景认知和复杂交通语义的理解方面仍然存在差距。本文提出 Traj-LLM，研究用大语言模型 (LLM) 的潜力，无需明确的提示工程，即可根据智体过去/观察的轨迹和场景语义生成未来运动。Traj-LLM 从稀疏上下文联合编码开始，将智体和场景特征剖析成 LLM 可以理解的形式。在此基础上，探索LLM强大的理解能力，捕获一系列高级场景知识和交互信息。为了模拟类人的车道聚焦认知功能并增强 Traj-LLM 的场景理解能力，引入 Mamba 模块提供支持的车道-觉察的概率学习。最后，设计多模态拉普拉斯解码器以实现场景兼容的多模态预测。 本研究探索为轨迹预测任务配备LLM固有的先进功能，以新的方式 ………………………………