2024-17 当我们谈规模化时，究竟在说什么？

文章预览

写在前面： scale/scaling/scalability在深度学习和大模型的语境下更加合适的翻译是规模/规模化/可规模化，而不是扩展或者可扩展性。 规模带来质变 Ilya Sutskever相信"Scaling is all you need"，因此OpenAI在他的领导下将规模化坚决的进行下去，基于更多的文本数据和更大的GPT模型成功给自然语言处理领域带来了范式转变。强化学习之父Sutton的“Bitter Lesson”文章指出可规模化的AI算法才是长期更加成功的路径，因为算力成本的指数下降是过去几十年最可靠最重要的技术趋势。GPU和卷积神经网络的“天作之合”一举在ImageNet挑战中突破性能瓶颈，算力和数据的规模在其中缺一不可。Wright's law告诉我们产品的累计产量每翻一番，单位成本下降一个固定百分比，这比摩尔定律更可靠。物理诺奖得主安德森说“More is different”，马克思说“量变带来质变”。 在传统机器 ………………………………