大语言模型llama-2-7b推理服务实战

文章预览

作者 | 贺晴 单位 | 中国移动云能力中心   大语言模型 llama -2 是基于优化的 Transformer 架构，是 Meta AI 正式发布的开源大模型， Chinese- llama -2- 7 b 由 LinkSoul.AI 团队基于 llama -2 发布的开源可商用的中文大语言模型，其规模达到了 70 亿参数。 Chinese- llama -2- 7 b 在数据量 1000 万的中英文 SFT 数据集上训练得到，输入格式严格遵循 llama-2-chat 格式，兼容适配所有针对原版 llama-2-chat 模型的优化。 1 概念      一般来说，参数量越大的模型效果会更好，但相对应的模型运行时产生的费用和微调训练所需要的数据量都会更多。 大语言模型 llama -2- 7 b 推理过程如下：     数据准备 ：下载 llama -2 -7b-hf 模型，可以使用 Hugging Face Transformers 或 PyTorch 等库加载模型；准备要输入到模型中的数据，以及 tokenizer 对文本进行编码，以及将编码后的文本 ………………………………