推理算力圈，跑来了一个“滴滴”

文章预览

华科大创业军团进场了。 文丨猎云精选 ID：lieyunjingxuan 作者丨孙媛 今年，大模型集体降价，让模型使用门槛向“免费”逐渐靠拢，也让AI应用大爆发的时间窗口越来越近。 随着生成式AI 模型参数和 Token 数量不断增加，模型单次推理所需的算力持续攀升。同时，ChatGPT、Gemini、Kimi 等聊天机器人的用户数逐步上升， Microsoft Copilot、Adobe Firefly、WPS AI 等办公助手持续落地，用户侧的流量不断上升，也让推理算力需求有望高速增长。 一言以蔽之，那就是“推理”将替代“训练”，成为舞台上的主角。 然而，目前AI推理面临的主要问题是成本高昂，尤其是随着模型规模增大，计算需求和成本也随之增加。此外，推理效率普遍较低，加上复杂的业务场景和应用链路，进一步推高了推理成本。 矛盾之下，问题随之浮现：怎么样才能把算力运到每个用户手上能够 ………………………………