重磅发布 | Llama 3.2：轻量级边缘设备模型、视觉模型等更多功能上线！

主要观点总结

Llama 3.2全新版本发布，带来多个亮点。包括轻量级边缘设备模型、视觉模型强势升级、Llama Guard模型登场以及Llama Stack官方发行版推出。同时，提供了关于新架构的关键信息，包括使用的训练标记数量、支持上下文长度等。此外，还有关于视觉编码器的架构细节和模型的评估结果。

关键观点总结

关键观点1: Llama 3.2的新特性

包括推出轻量级边缘设备模型、视觉模型的升级、Llama Guard模型的登场以及Llama Stack的推出，这些新特性为开发者和企业提供了更多的选择和灵活性。

关键观点2: Llama 3.2的架构关键点

包括新的文本生成模型和视觉多模态模型的使用训练标记数量、支持128K上下文长度、通过蒸馏技术从旧模型中获取知识、VLM模型使用图像和文本训练数据等。这些关键点展示了Llama 3.2在架构上的优势。

关键观点3: 视觉编码器的架构细节

视觉编码器部分采用了类似CLIP类型的MLP，使用GeLU激活函数，这与GPT-2的MLP架构相似。同时，介绍了层归一、注意力机制和MLP处理等方面的细节。

关键观点4: 模型的评估结果

1B模型在MMLU测试中得分49.3，3B得分63.4，VLMs中11B得分50.7，90B得分6.0B得分模型表现优异，表明其在小规模和多模态大型模型中都表现良好。

文章预览

📣 Llama 3.2 全新登场，带来多个亮点： 🌟 轻量级边缘设备模型 Llama 3.2 推出了1B 和3B模型，专为边缘设备设计，具备同类中顶尖的能力，同时支持@Arm、@MediaTek 和@Qualcomm等芯片架构，第一时间兼容运行。 🌟 视觉模型强势升级 Llama 3.2 还推出了11B和90B的视觉模型，性能媲美市场上封闭式的领先模型，并且能够无缝替代Llama 3.1的8B和70B模型，为视觉任务提供强大支持。 🌟 Llama Guard模型登场 这次新的Llama Guard模型是专为多模态应用和边缘部署而生，满足更多场景需求，推动多设备协同和实时响应的实现。 🌟 Llama Stack：专注智能体应用 首次推出的Llama Stack官方发行版，简化了开发者和企业围绕Llama构建应用流程，特别是用于智能体应用的开发。 本次 Llama 3.2 的架构有以下几个关键点： 1. 新的1B和3B文本生成模型使用9万亿个训练标记。 2. 新的11B和90B视觉 ………………………………