数据即模型，聊聊最近发布的小模型

文章预览

大模型现在似乎处在一个微妙的时刻。领先的前沿模型能力差不多，大家对下一代模型的能力突破有诸多期望。但能力再上一个台阶的前提要么是模型架构有突破，要么是成本至少再提高一个数量级，两者都不容易，于是隐约有些该来没来的味道。 几周前我们看到了一系列小模型的密集发布，背后体现的一系列数据增强的努力，或许是某种意义上另一条提升模型能力和降低成本的路径探索。 从Scaling Law说起 今天的大模型能力能够不断提升，Scaling Law功不可没。它的美妙之处在于我们几乎什么都不需要做，不需要新架构，只要有钱，有数据，模型能力就能不断提升。 但是模型能力和数据之间是幂关系，因此越往后需要的数据量也越大。先不说总会看到“大模型什么时候会用完人类所有数据”的担心，如何使得这个幂关系更加经济也是个至少百亿美 ………………………………