80亿参数，40 Tokens/秒，0.3秒延迟！商汤绝影行业首发原生多模态大模型车端部署

文章预览

“基于原生多模态大模型，商汤绝影正在打造一系列全新的车载智能化产品，推动智能汽车向超级智能体进化。” 商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚 在WAIC 2024 商汤科技“大爱无疆·向新力”人工智能论坛上 说。 一个超级智能体的进化离不开强大的端侧模型，大量原生多模态大模型正在从云走向智能汽车为代表的各种智能终端，车端模型部署能力将成为智能汽车进化过程中不可或缺的技术保障。 在论坛上，王晓刚宣布商汤绝影在行业内率先实现了原生多模态大模型的车端部署。 绝影行业领先的车载端侧8B模型首包延迟可低至300毫秒以内，推理速度40 Tokens/秒，并且能够覆盖主流算力平台 。 商汤绝影在行业率先实现 原生多模态大模型的车端部署 此前GPT-4o的发布为消费者展示了多模态实时交互的方式，让更多人领略 ………………………………