深度 | Foundry创始人深入探讨GPU利用率现状和未来，创新提出闲置节点使用率提升新方法

文章预览

图片来源：No Priors Z Highlights Foundry旨在通过Spot GPU使用和先进的监控与弹性工具等创新，使最先进的AI计算资源更加可访问且具成本效益。 由于GPU故障和需要预留缓冲区等因素，当前GPU云计算的利用率往往低于最佳水平，即使是大规模模型训练也是如此。继续扩大单一语言模型的规模需要指数级的计算资源，这促使人们探索诸如复合AI系统等替代方法。 AI基础设施的未来可能会从大规模互联集群转向更加分布式和可组合的方法，如复合AI系统。 这些系统结合了多个模型和方法，有望在可验证的任务上实现高性能，而无需依赖大规模互联集群。Foundry CEO Jared Quincy Davis最近发表的论文探讨了设计复合AI系统的原则，利用问题的可验证性来指导多个模型调用的组合。 Foundry专注于提高Spot GPU使用的可用性和便利性，这是他们为改善AI工作负载云经济学提供的 ………………………………