文章预览
中金研究 近期，深度求索（DeepSeek）发布第二代开源模型。其创新的模型结构，引发了市场对于算力需求究竟将如何演进的广泛讨论。 我们认为，公司在模型架构侧的创新表观上实现了推理时大幅降低KV Cache访存开销且不增加额外计算量，看似对硬件有“降规”指引，但是，更低的推理成本会在中长期维度激发更多需求，反哺算力硬件市场增长。 同时，我们认为大模型厂商推理环节的盈利能力正逐步改善，算力硬件需求持续性较高。 点击小程序查看报告原文 Abstract 摘要 MLA创新架构使推理任务中占用的KV Cache大幅降低，提高硬件利用效率。 在主流Transformer网络结构中，多头注意力机制Multi-Head Attention（MHA）是重要的组成部分。为了大幅简化无效重复计算，一般采用缓存MHA中Key和Value的方法（KV Cache）来优化推理任务效率。但随着输入上下文窗口长度
………………………………
