Kimi开源底层推理框架，1小时GitHub揽星1.2k

文章预览

大模型智能｜分享 来源 | 量子位 作者 | 一水 什么？Kimi底层推理架构刚刚宣布：开！源！了！ 你没听错，就是那个承载了Kimi线上80%以上流量的架构。 大约几小时前，月之暗面Kimi联合清华大学等机构，开源了大模型推理架构Mooncake。 根据官方介绍，本次开源将采用分阶段的方式： 逐步开源高性能KVCache多级缓存Mooncake Store的实现，同时针对各类推理引擎和底层存储/传输资源进行兼容。 其中传输引擎Transfer Engine现在已经在GitHub全球开源。 可以看到，Mooncake一经开源，已在GitHub狂揽1.2k star。 其最终开源目标是，为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。 月之暗面Kimi工程副总裁许欣然表示： 通过与清华大学MADSys实验室紧密合作，我们共同打造了分离式大模型推理架构Mooncake，实现推理资源的极致优化。 Mooncake ………………………………