假期结束，学习开启！

文章预览

点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 Occ_LLAMA--自动驾驶任务的多模态世界模型.  当前基于多模态大型语言模型（MLLM）的方法通过从感知到行动的直接映射来执行任务，忽略了世界动态和行动与世界动态之间的关系。 OccLLaMA： 一个占用-语言-动作生成世界模型，使用语义占用作为通用视觉表示，并通过自回归模型统一视觉-语言-动作（VLA）模态。 ‍ ‍ LLaMA-Omni：与大型语言模型的无缝语音交互 GPT-4o 等模型可以通过语音与大型语言模型 ( LLMs ) 进行实时交互，与传统的基于文本的交互相比，显着增强了用户体验。然而，如何基于开源LLMs构建语音交互模型还缺乏探索。为了解决这个问题，我们提出了 LLaMA-Omni，这是一种新颖的模型架构，旨在与LLMs进行低延迟和高质量的语音交互。LLaMA-Omni ………………………………