karpathy LLM101n 大纲放出 : 课程还未发布，已经 21.3K Star

文章预览

前 OpenAI 创始人，特斯拉自动驾驶团队负责人 karpathy 新「AI + 教育」公司首秀课程 「LLM101n」大纲放出 ，课程还未发布，已经 21.3K Star 在本课程中，将构建一个 Storyteller AI 大语言模型 (LLM)。你将能够使用 AI 创建、完善和阐释小故事。课程将使用 Python、C 和 CUDA 从头开始，以最少的计算机科学先决条件构建从基础知识到类似于 ChatGPT 的功能性， Web 应用程序的端到端的一切。最后，你应该对 AI、LLMs 和更广泛的深度学习有相对深入的了解 教学大纲 第01章 Bigram Language Model（语言建模） 第02章 Micrograd（机器学习、反向传播） 第03章 N-gram模型（多层感知器、matmul、gelu） 第04章Attention（attention、softmax、位置编码器） 第05章 Transformer（变压器、残差、layernorm、GPT-2） 第06章 Tokenization（minBPE，字节对编码） 第07章 优化（初始化、优化、AdamW） 第08章 极品飞车 ………………………………