HAMi：针对 Kubernetes 的异构 AI 计算虚拟化中间件

文章预览

项目简介 HAMi：针对 Kubernetes 的异构 AI 计算虚拟化中间件，用于管理和调度各种异构设备，如 GPU 和 NPU，以实现设备资源的共享和隔离 HAMi，原名“k8s-vGPU-scheduler”，是管理Kubernetes中异构设备的中间件。它可以管理不同类型的异构设备（如GPU、NPU等），在Pod之间共享异构设备，根据设备的拓扑信息和调度策略做出更好的调度决策。 它旨在消除不同异构设备之间的差距，为用户提供一个统一的管理接口，且无需更改应用程序。截至 2024年6月，HAMi已广泛应用于全球互联网/云/金融/制造等多个行业，被超过40多家公司或机构采纳。他们中的许多不仅是最终用户，也是项目积极的贡献者。 HAMi 是Cloud Native Computing Foundation(CNCF)基金会的sandbox项目和landscape项目，并且是 CNAI Landscape project. 虚拟化能力 HAMi通过支持设备共享和设备资源隔离，为包括GPU在内的多个 ………………………………