大模型时代：广告系统的量变与质变

文章预览

数据与算力的暴力美学 22年末到23年初， 生成式AI的横空出世让世人无不为之震惊。我自己也一样，花了很多时间来研究思考这件事：一方面，它在效果上的突破超出了我的预期；另一方面，去掉表面的花里胡哨， OpenAI其实是在极端专注做一件事：Scaling Law。 意思是OpenAI用大量的数据和算力，使用通用的架构（Transformer），然后就是专注All In，用“暴力解法”实现了智能的涌现。用白话讲， Sacling Law就是“量变引起质变” ，或者说是 “数据和算力的暴力美学” 。 Scaling Law是深度学习领域重要的技术信仰，2019年更是有人（Rich Sutton, “The Bitter Lesson”）做了精辟总结，基本意思是： 算法雕花用处不大，更多数据-更多算力才是王道。 Scaling Law也一直是我的技术直觉。 从2021年开始的“下一代广告系统”项目（广告系统2.0）就是按照这个思路去做的：用 ………………………………