专栏名称: 商汤科技SenseTime
商汤科技是国家科技部授予的“智能视觉”人工智能开放创新平台,以“坚持原创,让AI引领人类进步”为使命和愿景,建立并打造全球领先的深度学习平台和超算中心,并研发一系列AI技术。关注商汤科技SenseTime,与我们一同拥抱AI大时代。
今天看啥  ›  专栏  ›  商汤科技SenseTime

商汤大装置加码“算电一体化协同”,推理性能提升4倍!

商汤科技SenseTime  · 公众号  ·  · 2024-08-30 10:44
    

文章预览

随着大模型对算力需求的剧增, “算电一体化协同”势在必行! 去年12月,国家发改委等部门联合印发《深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见》明确提出 ,2025年底,算力电力双向协同机制初步形成,国家枢纽节点新建数据中心绿电 占比超过80%。 作为国内AI基础设施服务的领导者,商汤大装置积极推进训推一体、算电协同等创新技术的应用,并取得显著成效: 根据商汤科技2024 H1财报,在推理场景中, 商汤大装置实现了相同算力及电力成本下的每秒请求数(QPS)4倍提升 ,并实现了推理服务弹性按需伸缩,优化了大规模AI推理的整体成本。 在本周举办的中国智算产业绿色科技大会上, 商汤科技大装置事业群智算中心运维总监张煦具体分享了商汤推进“算电一体化协同”,打造下一代可持续AI基础设施的相关实践 。 搭乘 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览