Karpathy 再次语出惊人：LLM 时代，PyTorch 之流的软件抽象都将成为历史

文章预览

Andrej Karpathy，这位 OpenAI 创始成员、特斯拉前 AI 总监、斯坦福大学 CS231n 讲师，最近在 GPU MODE 研讨会上发表了一场主题为  “llm.c”  的演讲，再次语出惊人： LLM 时代，Python/PyTorch 之类的软件抽象都将成为历史！  🤯 llm.c 是什么？ llm.c 是 Karpathy 用 C 语言（外加一点点 C++）从零开始写的一个 Transformer 训练框架 为什么要写 llm.c？ 事情是这样的：一年前，Karpathy 想在他的视频系列（Karpathy非常喜欢分享AI技术）中添加一个关于 LLM 训练的视频，于是他开始用 PyTorch 写代码。结果，他被 PyTorch 的各种抽象概念搞得晕头转向，什么设备、数据类型、编译、分布式…… 各种问题层出不穷，代码出了 bug 都找不到原因！ 🤬 Karpathy 被折磨得不行，一怒之下决定：  “老子自己写一个！”  于是，llm.c 就诞生了！ llm.c 的开发过程： 抛弃 PyTorch 的抽象，直面底 ………………………………