一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~
今天看啥  ›  专栏  ›  机器学习算法与自然语言处理

Karpathy新教程爆火,网友抢着送他H100:从头复现GPT-2训练

机器学习算法与自然语言处理  · 公众号  ·  · 2024-06-06 00:00
    

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。 转载自 | 量子位 作者 | 梦晨 大神Karpathy已经不满足于用C语言造Llama了! 他给自己的最新挑战:复现OpenAI经典成果,从基础版GPT-2开始。 挑战成功本身并不意外,但是只花费20美元、90分钟完成训练,Loss和评测还超越原版,就!有!点!过!分!了!。 不仅如此,他把复现过程写成了完整教程,果不其然再次火爆。 由于Karpathy自己租用的是A100云服务,训练124M版本花费20了美元。 不过有人按照教程用H100跑了一把,不仅训练时间更短,还更省钱了:43分钟完成,只花14美元。 另外Karpathy还自掏腰包200美元,为大 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览