官宣开源｜阿里云与清华大学共建AI大模型推理项目Mooncake

主要观点总结

文章介绍了国内优质大模型应用Kimi与清华大学MADSys实验室联合发布的大模型推理架构Mooncake。该架构通过KVCache为中心的技术，大幅提升了大模型应用的推理吞吐并降低了推理成本。最近，清华大学、阿里云等组织和企业决定将该项目开源，旨在吸引更多的厂商和开发者共同建设高性能推理框架的开源生态。Mooncake架构基于与清华大学的创新研究计划，结合了阿里云与清华大学的深度共建，实现了高效分布式资源解耦架构。阿里云在项目中贡献了代码，特别是在传输引擎等关键组件方面。该项目的开源旨在推动大模型资源池化技术的发展，并希望通过资源解耦架构实现不同推理实例间的缓存共享，减少资源浪费。未来，阿里云计划更深度地参与该项目的共建，探索更高效的模型推理系统架构。

关键观点总结

关键观点1: Mooncake大模型推理架构的发布。

文章介绍了国内优质大模型应用Kimi与清华大学MADSys实验室联合发布的大模型推理架构Mooncake，该架构通过KVCache技术提升了大模型应用的推理性能。

关键观点2: 开源项目Mooncake的合作与推广。

为了推动大模型资源池化技术的发展，清华大学和研究组织9#AISoft联合阿里云等多家企业进行了深度共建，正式开源了大模型资源池化项目Mooncake。

关键观点3: 阿里云在Mooncake项目中的贡献。

作为AI基础设施服务商，阿里云在Mooncake项目中向传输引擎、点对点存储和高性能内存存储等关键组件贡献了代码，并完成了与广泛使用的大模型推理框架vLLM的适配。

关键观点4: Mooncake项目的目标与影响。

Mooncake项目的目标是推动大模型推理系统的发展，通过资源解耦架构实现不同推理实例间的缓存共享，减少资源浪费。该项目希望能够协同产学研力量共建开源社区，推动大模型推理技术的快速发展。

关键观点5: 未来的合作计划与展望。

未来，阿里云计划更深层次的参与Mooncake项目的共建，探索更加高效和先进的模型推理系统架构创新，让大模型技术真正惠及各行各业。

文章预览

2024年6月，国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室（Machine Learning, AI, Big Data Systems Lab）联合发布了以 KVCache 为中心的大模型推理架构 Mooncake。通过使用以 KVCache 为中心的 PD 分离和以存换算架构，大幅提升大模型应用Kimi智能助手推理吞吐的同时有效降低了推理成本，自发布以来受到业界广泛关注。近日，清华大学和研究组织9#AISoft，联合以阿里云为代表的多家企业和研究机构，正式开源大模型资源池化项目 Mooncake。希望更多的厂商与开发者共建高性能推理框架底层基础设施的开源生态。 Mooncake架构图 基于和清华大学之间的创新研究计划（AIR）项目，阿里云和清华大学共同探讨如何在实际工业界应用大模型资源池化技术，并做出了诸多技术成果积累。其中，为了加速大模型推理技术的发展，特别是推理实例共享的缓存池化层的标准化 ………………………………