专栏名称: Ai学习的老章
长期跟踪关注统计学、数据挖掘、机器学习算法、深度学习、人工智能技术与行业发展动态,分享Python、机器学习等技术文章。回复机器学习有惊喜资料。
今天看啥  ›  专栏  ›  Ai学习的老章

开源了!DeepSeek V3+R1满血微调工具一键启动,硬件要求降10倍

Ai学习的老章  · 公众号  ·  · 2025-02-20 16:56
    

文章预览

机器之心编辑部 DeepSeek V3/ R1 火爆全网,基于原始模型的解决方案和 API 服务已随处可见,陷入低价和免费内卷。 如何站在巨人肩膀上,通过后训练(post-training)结合专业领域数据,低成本打造高质量私有模型,提升业务竞争力与价值? 已收获近  4 万 GitHub Star  的  Colossal-AI ,发布 开源大模型后训练工具箱 ,包含: DeepSeek V3/ R1 满血 671B LoRA 低成本 SFT 微调; 完整的强化学习工具链 PPO,GRPO,DPO,SimPO 等; 无缝适配 DeepSeek 系列蒸馏模型在内的  HuggingFace  开源模型; 兼容支持英伟达 GPU、华为昇腾  NPU  等多种硬件; 支持混合精度训练,gradient checkpoint 等训练加速降低成本; 灵活的训练配置接口,支持自定义奖励函数、损失函数等; 提供灵活的并行策略配置接口,包括数据并行、模型并行、专家并行、ZeRO 和 Offload 等,以适应不同硬件规模。 开 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览