今天看啥  ›  专栏  ›  雷峰网

智算中心的困境:有卡不代表有算力

雷峰网  · 公众号  · 科技媒体  · 2024-09-11 18:51

主要观点总结

文章主要讨论了智算效率的提升和用卡效率的问题,特别是在大模型计算中面临的挑战,以及如何通过技术改进来提升训练效率和降低成本。此外,文章还涉及腾讯云智算品牌发布及其服务的应用情况,以及云市场的增量方向等话题。

关键观点总结

关键观点1: 智算火热但用卡效率不高

当前智算领域虽然火热,但存在用卡效率不高的问题。很多IDC厂商和大模型公司面临模型训练参数量大、底层算力集群规模扩大带来的挑战,导致模型训练成本增加。

关键观点2: 腾讯云智算品牌发布及成果

腾讯云发布了AI Infra品牌——腾讯云智算,整合了多项技术和产品,包括高性能计算集群、高性能网络、高性能云存储等,以提升智算性能并降低使用成本。该品牌已经服务了90%以上的大模型企业,并实现了大模型训练成本下降。

关键观点3: 客户与云厂商的需求与挑战

客户希望云厂商提供更多高性能的AI基础设施以支持业务发展。而云厂商则通过提升智算能力来抓住新的增长点。然而,云厂商在拓展市场时面临不确定性,包括在出海、下沉市场以及传统行业数字化转型等方面的挑战。大模型的出现为云厂商带来了新的增量曙光,但AI对云市场的增长动力仍存在争议。


文章预览

“ 总是「买买买」?是时候有人站出来,想想如何提升用卡效率了。 ”                                  作者 | 胡敏 编辑 | 周蕾 “如果让你重回2018年,你会做什么?” “先囤一大批英伟达的卡。” 这段对话虽然是网络段子,但也同样反映了厂商在全球囤卡找卡的疯狂。众所周知,这两年GPU一直处于供应紧张的状态,但我们却遇到了这样一个真实案例:一家传统IDC厂商手上囤了很多GPU卡,却处于闲置状态。 这反映当下的一种现状:智算虽火热,但市场上还存在很多用卡效率不高的情况,换而言之,有卡也不一定有算力。 01 智算火热,用卡效率不高被关注 进一步追问,为何会用卡效率不高? 因为智算不仅仅是卡的问题,而是一个软硬件协调的系统,涉及算、存、网等多个核心能力,当软件能力不够的时候,卡自身的发挥也会受限。腾讯云 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览