文章预览
我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 学习 0 1 Megatron-Deepspeed Moe单机多卡训练与推理 文章介绍了如何在单机 8 卡 v100 环境下，使用 Megatron-Deepspeed 进行 GPT 模型的训练与推理。环境配置包括安装 conda 环境（python>=3.9）、系统依赖（如 build-essential）、Pytorch、Apex、Deepspeed、pynvml 和 wheel 等。需要下载 EnvPipe 源码以及 Megatron-Deepspeed 的相关依赖配置，以及 GPT vocab 和数据集。 需要修改的文件和代码段包括 training.py 和 transform
………………………………
