专栏名称: 斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥  ›  专栏  ›  斌叔OKmath

还记得 GPT-2 (124M) 训练运行的 llm.c 再现吗-20241122101528

斌叔OKmath  · 微博  ·  · 2024-11-22 10:15
    

文章预览

2024-11-22 10:15 本条微博链接 还记得 GPT-2 (124M) 训练运行的 llm.c 再现吗?它在 8xH100 上花了 45 分钟。从那时起, @kellerjordan0 (以及现在的许多其他人)在新的 modded-nanogpt repo 中对此进行了广泛的迭代,并实现了相同的结果,现在只需 5 分钟! 很喜欢这个 repo 👏 600 LOC ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览