AI挑战20205之四（下）：“数据墙”真的是阻碍模型进步的主要原因吗？

文章预览

对于Scaling Law遭遇瓶颈的质疑迅速升温，既有所谓OpenAI的内部爆料，也有来自Ilya的“一锤定音”。 同时，越来越多的自媒体也开始爆料：Gemini和Claude都遇到瓶颈。似乎一下子“AI寒冬”再次到来。 可是看看本周美国市场的几大巨头，虽然没有什么“势如破竹”，但同样没有“一泻千里”。按理说，如果真的市场认为寒冬来临，会是夏天那种暴跌至少十个点的景象。 所以，问题在哪里？是真的撞到了“数据墙”：缺乏高质量的数据吗？ 首先，缺数据从去年开始就已经是最大的问题了。但是相比起预训练数据，可能更缺的是精调数据和评估数据。其实，就是缺“人力”。 尽管“生成式数据”已经越来越多的应用到精调数据和评估数据的生产过程中，极大地减少人力“监督”的工作量。但是两个原因依然导致这两类数据需要天量级的人力开销：1、预 ………………………………