田渊栋​：求道之人，不问寒暑

文章预览

好久没写这个系列了，一方面是因为我最近实在比较忙，另一方面也是想要等一等，分享自己觉得挺重要的结果。这次正好在去COLM的飞机上有点空，写一点。 从第一篇田渊栋：求道之人，不问寒暑开始，这个系列已经写了快九年了，与其说它是推广某几篇具体的研究工作，不如说是总结深度学习理论探索之路上的酸甜苦辣。这条路很难走，所以在别人问及的时候，我经常说这个方向是随便玩玩的个人项目，不会帮着公司大张旗鼓地招人，也不是很建议刚读博士的学生去钻研这些，因为一不小心就要掉坑里找不到工作了。 在大模型和Scaling law大行其道的今天，在“海量计算和数据就是王道”的言论日夜轰炸之下，能坚持走下去的人也越来越少，肉眼可见很多理论界的大佬都放弃了。不过对我来说，深度学习这个席卷各个领域，如此有效的框架，没 ………………………………