Ilya Sutskever 认为大模型靠扩大规模对提升效果已无益

文章预览

自 ChatGPT 风靡全球的后，从中受益的科技公司相信大模型越大越好。但在遭遇训练瓶颈和困难之后，OpenAI 联合创始人、Safe Superintelligence （SSI，安全超级智能）联合创始人伊利亚·苏茨克维（Ilya Sutskever）表示，靠扩大预训练参数规模和次数对结果的影响甚微。“2010 年代是规模扩大的时代，现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”现在对正确的事情“扩大规模”比以往任何时候都更重要。他拒绝透露其团队在解决这个问题时的更多细节，只表示 SSI 正在研究一种扩大预训练规模的替代方法。大模型吞噬了海量数据，耗尽了世界上所有容易获取的数据，模型训练需要大量芯片，成本高昂，电力短缺也阻碍了模型训练。这可能会改变人工智能硬件的竞争格局。 https://www.thepaper.cn/newsDetail_forward_29318724  您的赞赏是对我们的 ………………………………