专栏名称: 斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥  ›  专栏  ›  斌叔OKmath

网页链接我的 LLM 低级技术 3 小时研讨会已经结束!我将讨论-20240802070454

斌叔OKmath  · 微博  ·  · 2024-08-02 07:04
    

文章预览

2024-08-02 07:04 本条微博链接 网页链接 我的 LLM 低级技术 3 小时研讨会已经结束!我将讨论以下内容: 1. 为什么训练是 O (N^2) 而不是立方 2.Triton 与 CUDA 3. 为什么使用因果掩码、layernorms、RoPE、SwiGLU 4. GPT2 与 Llama 5. 修复 Llama、Gemma、Phi 的问题 6. 反向传播引擎 @UnslothAI 网页链接 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览