想用好DeepSeek？来，先知道它厉害在哪儿

主要观点总结

本文介绍了DeepSeek R1大模型的技术突破，包括不依赖监督微调的强化学习、奖励标准的设定、微调过程的训练机制等。同时，文章还介绍了R1模型的基础V3版本的技术改进，包括多token预测、混合精度参数、节省算力的改进等。文章还提到了DeepSeek的训练环境以及开源社区在AI发展中的作用。最后，文章提到了一些关于AI发展的预测和观点。

关键观点总结

关键观点1: DeepSeek R1模型引入不依赖监督微调的强化学习，使模型性能大幅增长。

R1模型通过引入强化学习，实现了在简单的奖励标准下的微调，使模型性能得到显著提升。这其中的关键是通过强制性地在结果前带上思考过程，形成特定的模板输出。

关键观点2: DeepSeek R1模型的训练过程与传统方式有所不同。

传统的训练方式需要先做一个奖励模型，再用奖励模型给基础模型做强化学习。而DeepSeek R1的训练过程则没有这种割裂，更多地依赖于模型的自我学习和调整。

关键观点3: 基础模型V3的技术改进包括多token预测、混合精度参数等。

这些改进都是为了节省算力，提高计算卡的利用率。此外，V3版本还采用了DualPipe技术，这是一种对英伟达计算卡底层设置的优化。

关键观点4: 开源社区在AI发展中扮演重要角色。

DeepSeek的成功离不开开源社区的支持。同时，中国AI的发展也应该重视开源社区的作用。

关键观点5: 文章提到了一些关于AI发展的预测和观点。

文章认为今后大多数由算法带来的台阶式提升将来自开源社区，中国的AI发展应该关注开源社区。此外，算法优化和削减成本是AI发展的重要方向。

文章预览

‍ ‍ ‍ 距1月20日 DeepSeek R1大模型发布以来，科技圈的讨论不绝如缕，R1几乎刷屏全球新闻，相关话题你可能听过很多了。 但是今天咱们稍微上点难度，从技术层面上来说一说， DeepSeek到底为什么这么厉害？在这其中到底有哪些技术层面的突破？ 今天的内容来自得到App 卓克老师 主理的 《科技参考》 第四季。这门课程，主要带你关注和追踪这个世界正在发生的科技大事，带你每天跟上科技新变化。 卓克老师是一位科技观察家，长期追踪科技进展，著有畅销书 《我们脑中那些挥之不去的问题》 ，在得到App累计已有19万人订阅他的课程。 以下是卓克老师的分享： 作者：卓克 来源： 《 卓克·科技参考4 》 01 R1性能大幅增长的原因 R1模型引入了不依赖监督微调的强化学习，可以让微调之后模型性能大幅增长，比如数学能力上，基础模型如果是100分，微 ………………………………