大模型推理新突破：分布式推理技术探索与实践

文章预览

作者 | 石新飞，刘侃，张弛，张泽超，包文鼎，李雨航，董纪莹，张莹 审校 | 刘侃，Kitty   随着大模型技术从技术变革转向产业变革，大模型应用也会进一步繁荣，传统基础设施技术已经不足以满足大模型应用的快速发展，整个基础设施技术和产业链正在快速转型，向大模型基础设施技术演变。2025 QCon 全球软件开发大会（北京站）策划了「面向 AI 的研发基础设施」专题，将深入分析 AI 基础设施的关键技术，包括机房服务器和芯片设计、大规模高性能网络技术、分布式模型并行技术、推理架构优化、算法和工程的结合等优化技术，以及它们在大规模生产环境中的应用和实践。如果你有相关案例想要分享，欢迎通过以下链接提交演讲申请： https://jsj.top/f/tUOLpz 背    景 在大模型的推理过程中，通常可以将任务分为两个阶段：Prefill 阶段 ………………………………