墙裂推荐！开源5天，标星11.7K！大模型培训课LLM101n上线了！

文章预览

机器之心报道 让我们训练一个 Storyteller。 今天外网又被 Andrej Karpathy 这一良心课程刷屏了！ 项目地址： https://github.com/karpathy/LLM101n 以下是该课程的项目简介： 在本课程中，我们将构建一个 Storyteller AI 大型语言模型 (LLM)，旨在使用 AI 创建、完善和说明小故事，涵盖从基础到类似于 ChatGPT 的可运行 Web 应用程序，并使用 Python、C 和 CUDA 从头开始构建项目，并且只需要最少的计算机科学前提条件。这门课程将使学生对 AI、LLM 和深度学习有相对深入的了解。 教学大纲如下： 第 01 章 Bigram 语言模型（语言建模） 第 02 章 Micrograd（机器学习、反向传播） 第 03 章 N-gram 模型（多层感知器、matmul、gelu） 第 04 章 Attention（attention、softmax、位置编码器） 第 05 章 Transformer（transformer、residue、layernorm、GPT-2） 第 06 章 Tokenization（minBPE、字节对编码） 第 07 章 优化（ ………………………………