LLM&自动驾驶：Driving with LLMs论文笔记

文章预览

作者 |  御手洗解洁  编辑 | 自动驾驶Daily 点击下方 卡片 ，关注“ 自动驾驶Daily ”公众号 戳我->  领取近15个自动驾驶方向路线 >> 点击进入→ 自动驾驶Daily技术交流群 微信扫描以下二维码， 『自动驾驶之心知识星球』 ， 国内最专业的技术和求职交流社区， 和3500人一起卷赢 原文 https://arxiv.org/pdf/2310.01957 Motivation 创建一个关于驾驶问题的问答数据库，并用此数据库训练llm。利用问答的形式来引导llm进行推理，并将llm给出的回答转换成可执行的操作来驾驶汽车。 Framework 首先总体看模型的推理框架可知，基于llm的自动驾驶框架主要分为三部分，其一由simulator给出object-level的数据，即车辆、行人、路况等目标的传感器数据。其二，由encoder和former部分来将原始数据做嵌入，将其对齐到prompt embedding空间，以供llm将其转换成文本回答。其三，从llm的答案 ………………………………