云上「算力浪费」，正在掣肘企业应用落地

文章预览

文 | 雷雨亭 编辑 | 王一鹏 投入算力，真的能换来利润吗？ 这是每个想“入局”大模型的企业都会思考的问题。 人工智能行业一直困于成本，无论从模型训练到推理，都充满了“烧钱”的气息。无法避免的高昂算力，成为企业入局大模型的“铁门槛”。 据多方数据统计，训练 GPT-4 这样的前沿模型系统，其成本预估在 7800 万美元；而在推理层面，企业私有化部署大模型，成本仍高达数百万元；基于开源大模型进行微调 +RAG 策略尽管更便宜，但安全性难以保障，更别提在后续使用中还会涉及的持续算力消耗。 而与高昂算力同时存在的，是算力利用率极低的行业现状。 据相关消息，OpenAI 在 GPT-4 的训练中，其算力利用率只有 32% 至 36%，大模型训练的算力有效利用率不足 50%。这是因为在训练周期内，GPU 卡并不能随时实现高资源利用，在一些训练任 ………………………………