开发者新闻 | 将加速的 Llama 3.2 从边缘部署到云端

文章预览

  将加速的 Llama 3.2 从边缘部署到云端   扩展了开源的 Meta Llama 模型集合，Llama 3.2 集合包括视觉语言模型(VLM)、小语言模型 (SLM) 和支持视觉的更新的 Llama Guard 模型。当与 NVIDIA 加速计算平台配合使用时，Llama 3.2 为开发人员、研究人员和企业提供了宝贵的新功能和优化，以实现其生成式 AI 用例。 经过 NVIDIA Hopper 100 Tensor Core GPU 的训练，1B 和 3B 尺寸的 SLM 非常适合在边缘设备上部署基于 Llama 的 AI 助手。11B 和 90B 尺寸的 VLM 支持文本和图像输入和输出文本。通过多模式支持，VLM 可以帮助开发人员构建需要视觉基础、推理和理解的强大应用程序。例如，他们可以为图像字幕、图像文本检索、视觉问答和文档问答等构建 AI 代理。除了文本输入外，Llama Guard 模型现在还支持图像输入护栏。 Llama 3.2 模型架构是一个使用优化的变压器架构的自回归语言模型。 ………………………………