腾讯研究院AI速递 20250220

文章预览

生成式AI 一、  DeepSeek V3/R1满血版低成本监督微调秘籍，4万GitHub Star 1. Colossal-AI发布开源工具箱,支持DeepSeek V3/R1等大模型的低成本微调和训练加速； 2. 通过LoRA等优化技术,将671B参数模型训练的硬件需求降低近10倍,支持多种硬件平台； 3. 提供完整的强化学习工具链和灵活的训练配置接口,包含PPO、GRPO等算法实现。 https://mp.weixin.qq.com/s/J-EP6ZOeLS_lFZFD3oTNtA 二、  撞车DeepSeek NSA，Kimi杨植麟署名的新注意力架构MoBA 1. MoBA通过将MoE原理应用于注意力机制，采用块稀疏注意力和无参数门控机制，实现了对长序列的高效处理； 2. 实验表明MoBA性能与完全注意力机制相当，在处理1M token时速度提升6.5倍，具有良好的扩展性； 3. 月之暗面开源的MoBA已经过一年实际部署验证，支持完全注意力与稀疏注意力的无缝切换，且代码可用性强。 https://mp.weixin.qq.com/s/okrYBqSRxUrXQiHjo-nl ………………………………