DeepSeek-V3带火大模型infra，入门看这篇就够了！

文章预览

 Datawhale分享  作者 ：真中合欢，来源：知乎 知乎：真中合欢；编辑：包包算法笔记 地址：https://zhuanlan.zhihu.com/p/10091011992 为什么会有这篇文章：虽然工作内容不是infra，但是我比较喜欢研究训练方法，魔改训练框架造轮子。正好最近看到OpenRLHF用ray管理VLLM的方案，感觉很有意思，遂研究了一下，发现VLLM的TP切分和Megatron是一套逻辑，用torch的rpc也可以代替ray的远程调用，所以打算用Megatron+TorchRPC+VLLM实现一套类似的框架，后期再把VLLM原地换掉直接megatron推理。在开始这个大工程之前，正好有机会写下这篇文章，就算是开工仪式了。 本文的主要内容 本文主要是从编程的角度，对 LLM训练框架 所涉及的一些 前置编程知识 进行讲解，并且会举一些应用技巧，对应到当前的LLM训练框架，辅助理解训练框架的代码逻辑。举个例子，下面是一段megatron初始化多 ………………………………