Is Scaling All You Need? LLM收益递减，AI小厂难活命

文章预览

大模型智能｜分享 来源 | 新智元 编辑 | alan Scaling law走到尽头了吗？ 近日，马库斯的一句「Is scaling all you need?」引发了正反两方的论战。 马库斯表示，距离GPT-4发布已经过去了14.5个月，在那之后，又有大约有500亿美元投资在芯片上，但仍然没有模型能够真正打败GPT-4。 It's now 14.5 months post GPT-4, and roughly $50B in chipspost GPT-4, and still nobody has decisively beat it. Many have converged in roughly the same place. That's *evidence*. Each day that passes without a further breakthrough is more evidence that it is time to consider alternatives. 业界和学界砸了这么多资源在LLM上，但证据似乎表明，我们已经很长时间停滞不前了。 展望未来，模型性能提升所需的算力已经很难满足（远超摩尔定律）， 而又有研究表明LLM性能的线性增长，很可能需要指数级的数据， ——「也许，是时候考虑替代方案了。」 德克 ………………………………