Meta等最新研究：多token预测，提升大模型推理效率

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ GPT-4、Gemini系列、Llama-3等开闭源大模型，通常使用的是下一个token预测（Next-token Prediction）的损失函数进行预训练。 这种方法虽然强大，但有很多局限性，例如，需要大量的训练数据才能使模型达到人类儿童的智商，并且随着模型参数的增大推理效率会变差。 因此，Meta、巴黎理工大学和巴黎萨克雷大学提出了一种全新训练方法多token预测（Multi-token Prediction）， 在训练的过程中要求模型在每个位置上同时预测接下来的n个Token，以提升模型推理效率，并且不会增加预训练时间 。 研究人员在130亿、67亿、30亿等多种不同参数的模型对该技术进行了综合评估。结果显示，130亿参数模型在 HumanEval上解决问 ………………………………