DeepSeek，启动“开源周”

文章预览

2月24日，DeepSeek启动“开源周”，开源了首个代码库FlashMLA。 DeepSeek称，这是DeepSeek针对Hopper GPU优化的高效MLA解码内核，专为处理可变长度序列而设计，现在已经投入生产使用。“在H800上能实现3000 GB/s的内存带宽以及580 TFLOPS的计算性能。”DeepSeek表示。 据介绍，MLA（多层注意力机制）是一种改进的注意力机制，旨在提高Transformer模型在处理长序列时的效率和性能‌。MLA通过多个头（head）的并行计算，让模型能够同时关注文本中不同位置和不同语义层面的信息，从而更全面、更深入地捕捉长距离依赖关系和复杂语义结构‌。 DeepSeek介绍称，FlashMLA受到FlashAttention2 & 3和CUTLASS项目的启发。其中，FlashAttention能实现快速且内存高效的精确注意力；CUTLASS是由英伟达开发和维护的开源项目。 2月21日，DeepSeek在社交平台发文称，构建了一支探索AGI（通用人工智能 ………………………………