大模型日报（7月6~7日 学术篇）

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 学习 0 1 聊聊大模型推理内存管理之 CachedAttention/MLA 本文探讨了大模型推理中的内存管理优化，特别是针对多轮对话场景的 CachedAttention 和 MLA 方法。CachedAttention 通过分层 KVCache 系统（AttentionStore），实现了显存内 KVCache 的有效管理，减少了 87% 的 TFTT，并提升了多轮对话的提示预填充吞吐量，降低了 70% 的端到端推理成本。该方法采用了逐层预加载、异步保存技术，以及对 RoPE 位 ………………………………