The Bitter Lesson（苦涩的教训）

文章预览

引言 Ilya Sutskever（前 OpenAI 联合创始人兼首席科学家）在前几天召开的 NeurIPS 会议上表示，大模型的预训练已经走到了尽头。而  Noam Brown（OpenAI 研究员，曾带领团队开发出在德州扑克中战胜职业选手的 AI 系统 Pluribus）在近期关于 OpenAI O1 发布的采访中提到，提升 Test-Time Compute 是提升大模型答案质量的关键。2024 年的圣诞节前夕，一片节日气氛下，湾区的硅谷 AI 大佬、机构和投资者们正在深入探讨从 “Scaling Learning” 向 “Scaling Search” 转变的路径。而这一切的思考，都可以追溯到 Rich Sutton（强化学习领域的奠基人之一）在 2019 年发表的经典 短文  The Bitter Lesson  (苦涩的教训) 。 今天，就让我们静下心来，细读这篇雄文。或许在阅读之后，我们可以对当下与未来的 AI 发展，拥有更深刻的理解和启发。 The Bitter Lesson 原文作者:  Richard S. Su tton  发表日 ………………………………