月之暗面kimi引擎是怎么炼成的？底层推理系统方案深度揭秘（二）

文章预览

以下文章来源于微信公众号：包包算法笔记 作者：ZHANG Mingxing 链接：https://mp.weixin.qq.com/s/FY8lSgpg90J5ghcjshkrfA 本文仅用于学术分享，如有侵权，请联系后台作删文处理 导读 最近大模型一直是备受关注的热点，国产大模型Kimi也不负众望成为首个支持输入20万汉字的大模型。那么如此大的数据是如何推理的呢，本文将为大家揭开Kimi底层推理系统的神秘面纱。 既上一篇 许欣然的 月之暗面kimi底层推理系统方案揭秘 ，本篇继续。 作者分享在知乎上引起了广泛讨论，很多system方向的大佬炸出来了，本文根据作者清华助理教授zhangmingxing的一些分享整理，欢迎大家去围观知乎讨论区： 李博杰（华为天才少年）：2020年我开始做分离式内存，做了非常高速的网络互联总线和很大的内存池（不能透露更多技术指标），当时搞了存储、数据库、AI和云混合部署等几个 ………………………………