Meta开源多token预测，提升大模型推理效率

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 在今年5月27日，「AIGC开放社区」曾为大家解读了一篇名为《Meta等最新研究：多token预测，提升大模型推理效率》的论文。 7月5日，Meta开源了该创新框架，希望提升大模型推理效率并节省资源的小伙伴们可以试试这个。 开源地址：https://huggingface.co/facebook/multi-token-prediction GPT-4、Llama-3等开闭源大模型，通常使用的是下一个token预测的损失函数进行预训练。这种方法虽然强大，但有很多局限性，例如， 需要大量的训练数据才能使模型达到人类儿童的智商，并且随着模型参数的增大推理效率会变差 。 所以，Meta等研究人员提出了全新训练方法“多token预测”（Multi-token Prediction），在训练的过程中要求模 ………………………………