Scaling Law失效，LLM受益递减，OpenAI改变模型路线，AI社区炸锅了

文章预览

大模型智能｜分享 来源 | 机器之心 有研究预计，如果 LLM 保持现在的发展势头，预计在 2028 年左右，已有的数据储量将被全部利用完。届时，基于大数据的大模型的发展将可能放缓甚至陷入停滞。 来自论文 Will we run out of data? Limits of LLM scaling based on human-generated data 但似乎我们不必等到 2028 年了。昨天，The Information 发布了一篇独家报道《随着 GPT 提升减速，OpenAI 改变策略》，其中给出了一些颇具争议的观点： OpenAI 的下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升； AI 产业界正将重心转向在初始训练后再对模型进行提升； OpenAI 已成立一个基础团队来研究如何应对训练数据的匮乏。 文章发布后，热议不断。OpenAI 著名研究科学家 Noam Brown 直接表示了反对（虽然那篇文章中也引用了他的观点）。他表示 AI 的发展短期内并不会放缓 ………………………………