DeepSeek，最新发布！

文章预览

【导读】 DeepSeek宣布开源Optimized Parallelism Strategies 中国基金报记者 忆山 2月27日，在“开源周”第四日，DeepSeek宣布开源Optimized Parallelism Strategies。 Optimized Parallelism Strategies主要针对大规模模型训练中的效率问题。其特点包括：混合并行策略，在减少通信开销的同时最大化GPU利用率；通过梯度压缩、异步通信、通信-计算重叠等技术降低节点间通信延迟；根据硬件拓扑和模型结构自动推荐并行策略，减少手动调参成本等。 2月21日，DeepSeek宣布，从2月24日起将开源5个代码库，以完全透明的方式与全球开发者社区分享他们的研究进展。并将这一计划命名为“开源周”。 DeepSeek称，即将开源的代码库是其在线服务中的基础组件，且都经过了详细记录、部署和实战测试。 2月24日，DeepSeek首个开源的项目是FlashMLA 。FlashMLA是DeepSeek用于Hopper GPU的高效MLA解码内核， ………………………………