CARLA在自动驾驶挑战赛中排名第一，性能提高了458%，比最佳同期提交的作品提高了32.6% ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 在这份技术报告中，作者介绍了CarLLaVA，这是为CARLA自动驾驶挑战赛2.0开发的用于自动驾驶的视觉语言模型（VLM）。 CarLLaVA采用了LLaVA VLM的视觉编码器以及LLaMA架构作为基础，仅使用相机输入，无需复杂或昂贵的标签，便实现了最先进的闭环驾驶性能。此外，作者还展示了初步的结果，即在驾驶输出的同时预测语言评论。 CarLLaVA使用了一种半解耦的输出表示，既包括路径预测也包括航点，从而既利用路径进行更好的横向控制，又利用航点进行更好的纵向控制。 作者提出了一种有效的训练方法，可以在不浪费计算资源在简单、平凡数据上训练大型驾驶数据集。 在CARLA自动驾驶挑战赛2.0的传感器赛道上，CarLLaVA排名第一，性能比之前的最先进技 ………………………………