专栏名称: AI科技评论
点评学术,服务 AI !
今天看啥  ›  专栏  ›  AI科技评论

第四范式发布先知 AIOS 5.1,节省大模型算力硬件成本,提高 GPU 综合利用率

AI科技评论  · 公众号  ·  · 2024-07-23 17:32

文章预览

今天,第四范式先知AIOS 5.1版本正式发布。该版本新增GPU资源池化(vGPU)能力,实现对硬件集群平台化管理、算力资源的按需分配和快速调度,最多节省80%的硬件成本,提高GPU综合利用率多达5-10倍。 第四范式先知AIOS 5是行业大模型开发及管理平台。平台以提升企业核心竞争力为目标,在支持接入企业各类模态数据的基础上,提供大模型训练、精调等低门槛建模工具、科学家创新服务体系、北极星策略管理平台、大模型纳管平台、主流算力适配优化等能力,实现端到端的行业大模型的构建、部署、管理服务。 在行业大模型的构建过程中,为进一步提高算力资源利用率,第四范式先知AIOS 5.1版本新增GPU资源池化(vGPU)能力,拥有五大技术亮点: 全面适配国产/非国产算力,支持混合部署与统一调度 算力和显存超分复用,算力切分精细到1%,显存切分 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览