AI 推理成本高居不下，如何将推理成本下降一个数量级？

文章预览

算力成本高昂、大模型参数越来越大、多模态模型让推理成本再提高 2 个数量级、推理效率低、业务场景丰富但落地链路长等一系列现实问题，成为制约 AI 应用广泛落地的关键因素。如何降低算力成本，迎接推理算力爆发时代的到来？刚刚结束的 2024 全球机器学习技术大会 上，王闻宇先生以《 如何做到算力基建和推理优化的“软硬兼施”与创新突破 》为题，对 AI 推理成本高企的原因进行深度剖析，并给出两个降低推理成本的有效方法。 作者 | 王闻宇 责编 | 王启隆 出品丨AI 科技大本营（ID：rgznai100） 当前，AI 推理面临的首要问题是高昂的成本： 以 GPT-4 当前的推理价格为例，如果我们做一个粗略的估算，假设日活跃用户达到 10 亿，每人每天使用 7,000 个token（包含上下文信息），并且不考虑目前百万级脱壳的费用，每天产生的费用将高达 2.1 亿 ………………………………