Llama 3.2：走向多模态

文章预览

点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 北京时间，2024 年 9 月 26 日 凌晨，Meta 发布 Llama 3.2。本次发布，包含 4 种尺寸的模型，包括 1B、3B的端侧小模型，可用于手机等边缘设备，和11B、 90B的多模态大模型，用于替代 Llama 3.1 8B 和 70B。主要参数如下： 不支持中文 128k上下文 训练数据截 至 2023年12月 使用了GQA（Grouped-Query Attention ） 对于多模态模型：使用了6B数量的图像文本对训练 首先看下多模态的两个模型在benchmark上的结果： 多模态版本的两个模型，方法也是延续了标准的MLLM范式。训练流程由多个阶段组成，从预训练的Llama 3.1文本模型开始。首先，添加图像编码器和adpater，然后在大规模带有噪声的图像文本对上进行预训练。接下来，在中等规模的高质量 图像 文 本 对 数据上进行第二阶 ………………………………