关于Scaling Law、半合成数据、MOE及长文本

文章预览

作者 | 张俊林  整理 | NewBeeNLP  https://zhuanlan.zhihu.com/p/700622253 后台留言 『 交流 』， 加入NewBee讨论组 以下内容是5月15日甲子光年圆桌论坛讨论内容，涉及Scaling Law、合成数据与“半合成数据”、与Transformer不同的新模型结构、MOE及Long Context等问题。 一、是否相信Scaling Law？ 王艺 ：围绕Scaling Law有很多的争议，有些人是坚定的信仰者，觉得只要堆数据、堆算力就能带领我们达到AGI；但是也有人认为你无限堆数据和算力并不能无限提升模型的性能，它其实会慢慢趋向于一个固定的值。那你是Scaling Law的坚定信仰者吗？ 张俊林： Scaling Law其实是个经验公式，最初是OpenAI在2020年提出来的，现在大家遵循的应该是DeepMind在22年提出的Chinchilla Scaling Laws（Chinchilla Scaling Laws：为了使模型达到最佳性能，模型参数量应与训练集的大小成等比例扩张。），尽管 ………………………………