主要观点总结
本文介绍了DeepSeek和月之暗面两个研究团队几乎同时发布了关于改进Transformer架构中注意力机制的研究成果，旨在提升处理长文本的能力并降低计算成本。文章介绍了两篇论文的具体内容以及它们之间的对比。DeepSeek提出的NSA和月之暗面提出的MoBA都是针对现有模型在处理长文本时面临的问题进行的改进，通过实验验证了它们在处理长文本时的有效性。另外，文章还提到两家公司之前也有相似的技术思路，并且都受到关注。最后推荐了QCon全球软件开发大会，提供了报名优惠信息。
关键观点总结
关键观点1: DeepSeek和月之暗面两个研究团队都发布了关于改进Transformer架构中注意力机制的研究成果。
两个团队的研究都聚焦于提升模型处理长文本的能力并降低计算成本，这是当前AI领域的一个热门研究方向。
关键观点2: DeepSeek提出的NSA和月之暗面提出的MoBA都是针对现有模型在处理长文本时的问题进行的改进。
NSA通过动态分层稀疏策略实现了对长上下文的高效建模，而MoBA则提出了一种混合块注意力的新方法，让模型自己决定该关注哪些部分。
关键观点3: 两家公司的研究成果都经过了实验验证，在处理长文本时表现出了良好的效果。
这意味着改进后的模型能够更高效地处理长文本，同时保持较高的性能。
关键观点4: 之前两家公司也有相似的技术思路，并且都受到了关注。
这次的研究成果再次表明他们在AI领域的创新能力和实力。
关键观点5: QCon全球软件开发大会将聚焦AI技术，包括智能融合等主题。
这次大会将汇聚全球的技术先行者和创新实践者，为行业发展提供有价值的讨论和交流机会。
文章预览
整理｜冬梅 2 月 18 日，DeepSeek 和月之暗面（Moonshot AI）几乎在同一时间发布了各自最新的研究成果，巧合的是，两篇论文的主题高度一致——都聚焦于改进 Transformer 架构中最核心的注意力机制，旨在提升其处理长上下文的能力并降低计算成本。由此可见，大家都在争相研究如何让 AI 更好地处理长文本，这不仅说明了行业对高效处理长文本的需求非常迫切，也是技术创新竞争进入白热化的缩影。 更有趣的是，两家公司的技术派明星创始人都亲自参与了研究，他们的名字分别出现在各自的论文和技术报告中，此举引发了外界的强烈关注。 2017 年，Transformer 架构被谷歌提出后便在技术圈内掀起热潮，它的出现被认为是 AI 发展史上的重要里程碑。但如此厉害的注意力机制，却有一个问题，它计算起来的复杂程度是和输入序列的长度是相关的，具体来说
………………………………
