LLaMA 开源模型凸显先进算法及行业数据的重要性 2024

文章预览

自 2017 年 Transformer 发布以来，大语言模型经历了由开源到逐步闭源的转变，头部公司先进模型的壁垒逐步形成。 目前 OpenAI 、 Google 等领先的头部 AI 大厂对于先进模型大多采用部分开源或仅开放使用的模式，以此构建技术护 城河。然而，将 AI 大模型直接应用于垂直行业，存在通用能力过剩、行业专业知识储备不足、推理过程消耗算力过 高等问题。基于开源模型进行垂类模型开发可兼顾开发成本和数据安全，尤其是对于党政军、金融、电网、先进制造等数据敏感性较高的行业而言。 Meta 旗下 LLaMA 大模型的开源或能为垂类模型落地提供预训练模型底座。 LLaMA 基于通用领域的开源数据集进行 训练，训练数据涵盖 40 种语言，包含约 1.4 万亿 Tokens 。尽管 LLaMA 模型参数量较小，但性能丝毫不逊色于 PaLM 、 GPT-3 等大语言模型。并且较小的 ………………………………