文章预览
本次发布我们在Llama3.1上首个工作： OpenBuddy-Llama3.1-8B-v22.1-131K。 Llama3.1：开源模型的新里程碑 7 月23日，Meta发布了新一代 开源模型系列： Llama3 .1。其中405B参数的版本刷新了开源模型性能的上限，在多种指标上的测试成绩接近GPT-4等闭源模型的水平，甚至在部分基准测试中展现出来了超越头部闭源模型的潜力。 同时，Meta在本次发布时修改了许可协议中对数据蒸馏方面的限制，允许开发者使用Llama3.1-405B模型的输出训练其它模型。 Llama3.1-8B-Instruct：利用合成数据增强小模型 除了模型尺寸的提升之外，Meta还尝试了在 数据集构成、训练方法、 位置编码 缩放等方向上增强模型的综合能力，并于同日发布了 8B、70B模型的3.1增强版本。 Llama3.1- 8B -Instruct 基于8种语言的语料、问答对进行 训 练， 支持英语、德语、法语、 意大利语、葡萄牙语、 西班牙语、 印地
………………………………
