ChatGPT等模型疯狂训练，最快2026年消耗尽公开文本数据

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ AI发展科研机构Epochai在官网发布了一项，关于大模型消耗训练数据的研究报告。 目前，人类公开的高质量文本训练数据集大约有300万亿tokens。但随着ChatGPT等模大型的参数、功能越来越强以及过度训练，对训练数据的需求呈指数级增长，预计将在2026年——2032年消耗完这些数据。 研究人员特别提到了“过度训练”（Overtraining）是加速消耗训练数据进程的主要原因之一 。例如， Meta最新开源的Llama 3的8B版本过度训练达到了惊人的100倍 ，如果其他模型都按照这个方法来训练，数据可能在2025年就消耗尽了；70B版本还好，过度训练只有10倍。 所以，无论是闭源还是开源大模型，已经进入比拼训练数据的阶 ………………………………