月之暗面kimi底层推理系统方案揭秘（二）

文章预览

既上一篇 许欣然的 月之暗面kimi底层推理系统方案揭秘 ，本篇继续。 作者分享在知乎上引起了广泛讨论，很多system方向的大佬炸出来了，本文根据作者清华助理教授zhangmingxing的一些分享整理，欢迎大家去围观知乎讨论区： 李博杰（华为天才少年）：2020年我开始做分离式内存，做了非常高速的网络互联总线和很大的内存池（不能透露更多技术指标），当时搞了存储、数据库、AI和云混合部署等几个场景，感觉Persistent KV Cache会是disaggregated memory一个很重要的应用场景。很高兴看到Moonshot把它实现了。Prefill和Decoding分离，算力型硬件和内存带宽型硬件解耦，也是我非常喜欢的架构设计。 作者：昨天华为云的workshop上还聊到这个，分离式内存终于算是有了一个非常核心的落地场景。不过主要是带宽bound，iops bound 的场景想要落地还需要更多的探索，也包括 ………………………………