对话清华章明星、月之暗面许欣然：Mooncake架构背后，如何用“炒菜”的思路实现推理的极致优化

文章预览

骆轶航｜硅星人创始人 章明星｜清华大学助理教授、KVCache.AI 团队负责人 许欣然｜月之暗面Kimi工程副总裁 硅星人首届AI创造者大会（ACC 2024），在「异构推理框架」议题下，硅星人创始人兼CEO骆轶航邀请到了清华大学助理教授、KVCache.AI团队负责人章明星，以及月之暗面Kimi工程副总裁许欣然，共同探讨AI推理架构的创新与开源对行业生态的深远影响。以下为对话实录整理。 让“备菜”和“炒菜”分开干，AI推理的秘密武器是什么？ 骆轶航 ：刚才我和章明星还在聊，那篇论文意外地收获了积极的反馈。我的第一个反应是，月之暗面发布了论文，这篇论文让大家能够上手操作，确实为很多人带来了启发。Kimi之前遇到的问题，不排除在某些爆款AI应用中也可能会出现，这个事特别有价值。先做个调查，大家有谁碰到过“Kimi 有点累了，请稍等一下再问我 ………………………………