Nemotron-4 340B 技术报告：全面解读当前最强大语言模型的诞生过程

文章预览

Nemotron-4 340B 技术报告：全面解读当前最强大语言模型的诞生过程 发布时间：2024 年 06 月 11 日 知识图谱 Nemotron-4 340B Technical Report 我们隆重推出Nemotron-4 340B系列模型家族，涵盖基础版、指导版和奖励版。这些模型遵循NVIDIA的开放模型许可协议，允许自由分发、调整和应用，为研究和商业用途提供了极大的灵活性。它们在众多评估基准上展现出与现有开放模型相匹敌的性能，并且专为在单台搭载8个GPU的DGX H100上以FP8精度部署而设计。我们坚信，这些模型将为各类研究和商业应用带来显著益处，特别是在生成合成数据以培育小型语言模型方面。尤为引人注目的是，我们模型对齐过程中使用的98%以上数据均为合成生成，这充分证明了这些模型在合成数据生成方面的卓越能力。为了推动开放研究和模型开发的进一步发展，我们还开源了用于模型对齐的合成 ………………………………