专栏名称: 智车科技
自动驾驶内容服务商。聚焦自动驾驶前沿动态,引领汽车行业科技创新!
今天看啥  ›  专栏  ›  智车科技

都在落地端到端!手撕代码,今天一起来梳理下UniAD的实现

智车科技  · 公众号  ·  · 2024-07-19 17:25

文章预览

本文来源:自动驾驶Daily(ID:gh_1918320c2e80) 写在前面 UniAD是围绕查询设计的,它的感知、预测、规划任务都使用交叉注意力来将前置任务的查询转换为当前任务的查询。 每个任务的查询以及这些查询的组合,都用长度为256的向量表征。最初的表征(BEV元素)通过多个Transformer Decoder,每个Decoder的输出有不同任务的监督数据,这些任务引导了中间表示(dim=256的向量)的演化。 在这个过程中,UniAD对表征做了很多组合和变换,引入了冗余的参数。(与之相比,英伟达的ParaDrive则直接从BEV并行训练多任务,取得了更好的效果。)中间表征在演化过程中有多个名字,如下表中形状中有x256的变量,作为每个模块的输入和输出。在开始关注每个模块的代码前,需要牢记下表中每个查询变量的含义和形状。 如果大家对端到端自动驾驶技术栈还不是很熟悉,可 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览