英伟达开源3400亿巨兽，98%合成数据训出最强开源通用模型！性能对标GPT-4o

文章预览

文章转载于新智元 就在刚刚，英伟达再一次证明了自己的AI创新领域的领导地位。 它全新发布的Nemotron-4 340B，是一系列具有开创意义的开源模型，有可能彻底改变训练LLM的合成数据生成方式！ 论文地址：https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf 这一突破性进展，标志着AI行业的一个重要里程碑—— 从此，各行各业都无需依赖大量昂贵的真实世界数据集了，用合成数据，就可以创建性能强大的特定领域大语言模型！ 现在，Nemotron-4 340B已经取得了辉煌战绩，直接超越了Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，甚至可以和GPT-4一较高下！ 其实，以前这个模型就曾登上大模型竞技场LMSys Chatbot Arena，当时它的别名是「june-chatbot」 具体来说，Nemotron-4 340B包括基础模型Base、指令模型Instruct和奖励模型Reward，并构建了一个高质量合成数据生成的 ………………………………