注册    登录
专栏名称: 黄建同学
数码博主 超话主持人（ChatGPT超话） 头条文章作者 我的学习笔记，关注AI+新能源
今天看啥
公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源
目录
今天看啥  ›  专栏  ›  黄建同学

月之暗面Kimi系统底层的服务架构揭秘↓Mooncake 是月之-20240706114927

黄建同学  · 微博  · AI  · 2024-07-06 11:49
    

文章预览

2024-07-06 11:49 本条微博链接 月之暗面Kimi系统底层的服务架构揭秘↓ Mooncake 是月之暗面Kimi AI的服务平台，以 KVCache 为中心的LLM 服务架构↓ #程序员# #ai# 该项目为Mooncake的技术报告，并持续跟踪其开源代码：github.com/kvcache-ai/Mooncake 还有对应的论文：arxiv.org/abs/2407.00079 Mooncake 采用以 KVCache 为中心的解耦架构，将预填充集群与解码集群分离，并充分利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源，实现 KVCache 的解耦缓存。 Mo ………………………………

原文地址：访问原文地址
快照地址： 访问文章快照
总结与预览地址：访问总结与预览
推荐文章
爱可可-爱生活  ·  【[23星]fastkmeans：一个超快的PyTorch k--20250418140613
16 小时前
爱可可-爱生活  ·  [LG] BitNet b1.58 2B4T Technical-20250418055709
昨天
财联社AI daily  ·  大厂掀起AI人才争夺战
昨天
财联社AI daily  ·  大厂掀起AI人才争夺战
昨天
量子位  ·  ChatGPT首次带图深度思考：OpenAI连发o3/o4 mini，比前代性能更强价格更低
2 天前
机器之心  ·  可灵AI全球发布2.0模型，史上最强视觉模型来了！网友：人人都能手搓科幻片
2 天前
生物制品圈  ·  创新药质量控制与检测技术：确保药品安全与有效性的基石
9 月前
生物谷  ·  晚讯｜一针3000万，能买上海一套江景房，屡次刷新世界最贵药记录，它凭什么？元码基因突变分析软件获批三类医疗器械
7 月前
生信石头  ·  老友求职 | 实名推荐我的朋友，复杂基因组解析大拿
7 月前
财联社AI daily  ·  英伟达投了AI基建公司，前身竟是“俄版谷歌”
4 月前
OfferShow  ·  实习 | 三联人文城市实习生招聘
3 月前
关于   移动版   ·   Py中国   ·   RSS之家   ·   CodingPro   ·   Code   ·   Link之家   ·   卧龙AI搜索   ·   小百科   ·   51好读   ·   小百科（海外）   ·   Link管理
今天看啥 - 公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源
© 2024 ~ 沪ICP备11025650号