什么？Kimi推理架构宣布：开！源！了！ Github标星1.7K

文章预览

量子位 | 公众号 QbitAI 什么？ Kimi底层推理架构刚刚宣布：开！源！了！  你没听错，就是那个承载了Kimi线上80%以上流量的架构。 昨天，月之暗面Kimi联合清华大学等机构，开源了大模型推理架构 Mooncake 。 根据官方介绍，本次开源将采用 分阶段的方式 ： 逐步开源高性能KVCache多级缓存Mooncake Store的实现，同时针对各类推理引擎和底层存储/传输资源进行兼容。其中 传输引擎Transfer Engine 现在已经在GitHub全球开源。 Mooncake一经开源，已在GitHub狂揽 1.7k star 。 论文： https://arxiv.org/pdf/2407.00079 开源地址： https://github.com/kvcache-ai/Mooncake 其最终开源目标是，为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。 月之暗面Kimi工程副总裁许欣然表示： 通过与清华大学MADSys实验室紧密合作，我们 共同打造了分离式大模型推理架构Mooncak ………………………………