开发者新闻 | 如何在 NVIDIA Llama-3.1-Minitron 4B 模型上修剪和提炼 Llama-3.1 8B

文章预览

如何在 NVIDIA Llama-3.1-Minitron 4B 模型上修剪和提炼 Llama-3.1 8B   由于大型语言模型 (LLM) 的有效性和通用性，它们现在已经成为自然语言处理和理解领域的主导力量。LLM（ 例如 Llama 3.1 405B 和 NVIDIA Nemotron-4 340B ）在编码、推理和数学等许多具有挑战性的任务中表现出色。但是，它们的部署需要大量资源。因此，业内出现了另一种趋势，即开发小型语言模型 (SLM)，这些模型在许多语言任务中足够精通，但部署给大众的成本要便宜得多。 最近，NVIDIA 研究人员表明，结构化权重剪枝与知识提炼相结合，形成了一种有效且高效的策略，可以从初始较大的同级产品中逐步获得较小的语言模型。NVIDIA Minitron 8B 和 4B 是如此小的模型，通过在 NVIDIA Nemotron 系列中剪枝和提炼其较大的 15B 同级产品来获得。 ▶  剪枝和提炼可带来以下优势： ●   与从头开始训练相比，MML ………………………………