Llama-3.1-Minitron 4B：NVIDIA 新方法！造就小而强的 AI 模型

文章预览

在AI领域，模型的大小和性能一直是研究的重点。 最近，NVIDIA 和 Meta 联合发布了最新的 Llama-3.1-Minitron 4B 模型 这款模型通过 NVIDIA 最新的剪枝和蒸馏技术， 实现了“小而强”的目标。 什么是 Llama-3.1-Minitron 4B？ Llama-3.1-Minitron 4B 是基于 Llama-3.1 8B 模型，通过结构化权重剪枝和知识提炼技术优化而成的紧凑型语言模型。 它拥有 40 亿参数，性能优越且资源消耗更低，让其可以运行在手机上！ 现在大型语言模型在处理和理解自然语言方面很厉害，但是部署起来要很多资源。所以行业里又有个趋势是搞小型语言模型，部署起来便宜。 像 NVIDIA 的研究人员就发现，把权重修剪和知识蒸馏结合起来能从大模型弄出小模型。比如说 NVIDIA Minitron 8B 和 4B 就是从 15B 大模型弄出来的。 什么是修剪 修剪呢，就是让模型变小变精简。可以通过去掉一些层（这叫深度修剪 ………………………………