月之暗面kimi底层推理系统方案揭秘

文章预览

【点击】 加入大模型技术交流群 太长不看版（作者大佬自己的在知乎碎碎念）： 本论文与很多 Prefill/Decoding 分离的论文不同的是，这套方案已经在大规模集群上进行几个月的验证并证明了方案的有效性。 目前这套系统承载了 Kimi 线上80% 以上的流量， 效果很好也为产品带来了更多的设计空间。这也是为什么一个 POC 写在所有业内论文之前的系统，直到今天才发布出来跟大家见面。 系统是需要跟随着应用快速变化的，同时也需要 硬件厂商 和 云厂商 早点接受新的理念才能跟上浪潮。发出这篇论文，主要是希望给各方提供一些信心，提供一些推理规模足够大场景下的必然优化思路。 趁这个机会，希望给各家硬件厂商和云厂商一些“暴论” 1.Mooncake 这类的存算分离策略会是一个长期趋势。 现在、立刻、马上真能省很多钱（毕竟不能公开规模和每日请 ………………………………