Scaling Law依旧有效，但是…

文章预览

www.newtype.pro Cohere是我特别喜欢的AI创业公司。两个月前，20VC播客请来了这家公司的CEO——Aidan Gomez，双方围绕基础模型谈了许多，值得一看： Aidan Gomez: What No One Understands About Foundation Models | E1191 我挑出我感兴趣、觉得受益的部分，分享给大家。 Scaling Law是否依然成立？ Aidan给出明确判断：Scaling Law依然成立，并且将在相当长的时期内保持有效。 但是，有一个很现实的问题是：对于大部分公司来说，今天模型能力并没有强大到值得去部署一个GPT-4级别的模型。模型的智能程度还撑不起这么高的成本。 所以在接下来很长一段时间的趋势是：通用模型和垂直模型并存。 先用通用大模型进行原型设计。等跑通之后，再把它蒸馏成一个专注且高效的垂直小模型。这是更加务实的做法。 模型厂商的出路在哪里 ？ 第一条路，拼钱。 家底殷实的，一定要坚定Scal ………………………………