神级项目训练GPT-2仅需5分钟，Andrej Karpathy都点赞

文章预览

机器之心报道 编辑：泽南、小舟 租用 H100 的钱只需 233 美元。 还记得 Andrej Karpathy 纯 C 语言复现 GPT-2 大模型的项目吗？ 今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。 llm.c 旨在大幅简化大模型的训练，ta 使用纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。不过即使是这样的优化，复现 GPT-2 级别的模型也需要在 8 块 H100 上花费 45 分钟进行训练。 没想到几个月过去，业界水平居然有了指数级的提升，让 Karpathy 本人都感到惊叹： 在 GitHub 上出现了一个新项目「Modded-NanoGPT」，对技术进行了大幅度的迭代，现在实现相同的结果只需要 5 分钟。该研究的作者 Keller Jordan 曾在 Hive AI 工作，一直以来的研究方向都着重于模型训练的优化。他在本周三表示，利用具有 ………………………………