从Kimi: Mooncake谈谈云AI基础设施的分离式架构

文章预览

TL;DR 月之暗面最近公布的一篇Mooncake的分离式推理系统的Technical Report, 其中 @许欣然老师谈到，公开的目的之一就是推动硬件厂商和云厂商向分离式，乃至未来异构分离的方向演化。因此针对这个问题展开讲讲云AI基础设施的分离式架构. 本文第一章先概述介绍一下Mooncake的工作原理, 第二章再来展开谈谈易购分离架构的演化. 看到中间那层淡黄色的Distributed KVCache Pool想到了2020年的工作NetDAM,如下图所示 如今Disaggregated架构可能会像当年MapReduce那样成为一个新的业界标杆,MapReduce诞生于互联网泡沫时期, 伴随着互联网大数据处理而成长, 而分离式架构或许也会有同样的历程. 新的应用新的数据瓶颈, ScaleUP的大型机再到廉价的ScaleOut分布式集群,再到分离式架构... 当时的Data-Centric和如今的KVCache-Centric... 1. 概述Mooncake以KV Cache为中心的分离式推理 对于一个推理系 ………………………………