甲小姐对话田渊栋：Scaling law代表一个非常悲观的未来｜甲子光年

文章预览

Scaling law也许是对的，但不会是全部，因为scaling law本身代表一个非常悲观的未来——scaling law的本质是，用指数级的数据增长，来获得几个点的收益。最终人类世界可能会有很多长尾需求，需要人类的快速反应能力去解决，这些场景的数据本身也很少，LLM做不到。Scaling law发展到最后，可能每个人都站在一个数据孤岛上。 作者｜ 甲小姐 刘杨楠 对于研究者而言，预设一个判断、押注正确的方向，往往会决定学术成就的高远。当一切尚未验证时，多少需要朴素的直觉来支撑，而朴素直觉的背后，往往是一些关于是与非、能与否的底层信仰。 在人工智能领域，底层信仰的作用在被放大。比如，此刻人工智能有一些根本性的研究底色：Scaling law是否是唯一至上的纲？ 大模型的scaling law最早由OpenAI在2020年的一篇论文中提出，其内涵是， 大模型的最终性能 ………………………………