【博士论文】异构协同模型推理

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 本工作聚焦“异构协同模型推理”，通过探索异构设 备之间的协同机制，提高模型推理任务的动态自适应性、可扩展性、计算和通信 效率、以及对数据隐私安全的保障。 来自中国科学技术大学的 袁枚 博士论文，入选2024年度“ CCF博士学位论文激励计划 ”初评结果！ https://www.ccf.org.cn/Awards/Awards/2024-11-15/834347.shtml 模型推理是支撑诸多人工智能应用的关键，例如交通视频分析依赖于车辆 检测模型推理、自然语言问答服务需要基于大语言模型推理实现。将模型推理任务部署于单一设备或同构集群上是最直接和成熟的方式，当下多数智能应用采用这种方案，例如抖音应用基于手机端上部署的视觉模型实现各种视频特效、 OpenAI 使用大规模云上 GPU 集群支撑其 ChatGPT 问答服务。然而，随着智能模 型愈加复杂、应 ………………………………