国外Karpathy 大神4小时AI大课，从零构建GPT-2！

文章预览

 Datawhale干货  编辑：桃子，来源：新智元 【导读】 距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。 大神Karpathy新一期AI大课又上线了。 这一次，他讲的内容是——从头开始实现124M大小的GPT-2模型，足足有4个小时。 Karpathy对这个视频2个字总结：全面。 我们从空文件开始，以GPT-2（124M）模型结束。 也就是说，这就是手把手教程，就连AI小白看后，都会搭建GPT-2了。  Karpathy称这是从0到英雄（Zero To Hero）的系列中最新的视频。 翻看以往Zero To Hero系列中的视频，最长的也不过2小时25分，这次4小时完全创下了最新记录。 帖子中，他highlight了最新视频中的一些重点内容： - 我们首先构建GPT-2神经网络 - 然后对其进行优化，以实现快速训练 - 参考GPT-2和GPT-3论文，设置训练运行 ………………………………