英伟达开源新大模型：训练数据减少40倍，算力节省1.8倍

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 全球AI领导者英伟达（Nvidia）开源了最新大模型Nemotron-4-Minitron-4B和Nemotron-4-Minitron-8B。 据悉这两个模型是基于Meta开源的Llama-3.1 8B，但英伟达使用了两种高效的训练方法结构化剪枝和知识蒸馏。 相比从头训练，每个额外模型所需的训练token数据更少，仅需大约1000亿token，最多减少40倍，算力成本可节省1.8倍。性能却依然媲美Llama-3.1 8B、Mistral 7B、Gemma 7B等知名模型，而这些模型是在高达15万亿token数据训练而成。 4B开源地址：https://huggingface.co/nvidia/Nemotron-4-Minitron-4B-Base 8B开源地址：https://huggingface.co/nvidia/Nemotron-4-Minitron-8B-Base 结构化剪枝方法 剪枝作为一种大模型压缩技术，其核心思想是去除神经网络中 ………………………………