特斯拉前AI总监，OpenAI 大神再整活， 672 美元复现 GPT2！

文章预览

随着时间的推移，大模型的训练成本再降，如今只需几百美元，就可以复现 GPT-2。 编译 | 苏宓 出品 | CSDN（ID：CSDNnews） OpenAI 在 2019 年推出了 GPT-2 时，据外媒 Tom‘s Hardware 报道称，当时训练费用为每小时 256 美元。 如今五年过去了，随着 GPT-4 以及旗舰级 GPT-4o 的到来，AI 大模型的训练成本是否降了？ 对此，特斯拉前 AI 总监、OpenAI 联合创始人 Andrej Karpathy 于近日 重现 GPT-2 项目之后 给出了具体的答案，其表示，「今天，你可以花费 约 672 美元训练自己的模型，在一个 8XH100 GPU 节点上运行 24 小时。」 事实证明，硬件、软件和数据方面的进步意味着训练同一个模型所需的时间和金钱都会减少。 与此同时，Andrej Karpathy 还在自己的 GitHub 项目页面（https://github.com/karpathy/llm.c/discussions/677）中分享了整个重现的过程，我们不妨来看看这位大神是怎么做的。 ………………………………