Scaling Law百度最早提出？！OpenAI/Claude都受它启发，Ilya出现在致谢名单中

文章预览

白小交 发自 凹非寺 量子位 | 公众号 QbitAI 什么？Scaling Law最早是百度2017年提的？！ Meta研究员翻出经典论文： 大多数人可能不知道，Scaling law原始研究来自2017年的百度，而非三年后（2020年）的OpenAI。 此研究由吴恩达主持，来自百度硅谷人工智能实验室 (SVAIL) 系统团队。 他们探讨了深度学习中训练集大小、计算规模和模型精度之间的关系，并且通过大规模实证研究揭示了深度学习泛化误差和模型大小的缩放规律，还在图像和音频上进行了测试。 只不过他们使用的是 LSTM，而不是Transformer；也没有将他们的发现命名为 「Law」 。 再回头看，其中一位作者Gregory Diamos给自己当年在百度的介绍还是 LLM Scaling Law Researcher 。 又有一网友发现，OpenAI论文还引用了2019年这位作者Gregory Diamos等人的调查。但却不知道他们2017年就有了这么一项工作。 网友们纷纷表示 ………………………………