大模型Infra发展路径盘点

文章预览

原文：https://zhuanlan.zhihu.com/p/708594043 越来越多人开始关注大模型，很多做工程开发的同学问我怎么入门大模型训练推理系统软件（俗称大模型Infra）。 作为一名曾经后台开发岗位同学，大家的心情我感同身受。近年来国内互联网业务整体低迷，而大模型却在逆势崛起，每天新闻可谓繁花似锦，烈火烹油，和其他子领域形成了鲜明对比。环球同此凉热，2023年硅谷裁了几十万软件工程师，但美国各大厂都在疯狂买GPU高价招人做大模型，这半年的美股靠这波AI的预期再创新高。冷热对比，高下立判，作为计算机从业者肯定都不想错失上车的机会。 但需要提醒大家的是 大模型Infra正在从从黄金时代进入白银时代 。我21年开始写大模型训练系统，算是周期完整的亲历者，谈谈我这些年观察到大模型Infra经历的几个阶段： 2019-2021，黑铁时代 17年那篇著名的《Att ………………………………