端侧大模型火了，但CPU被低估了｜甲子光年

文章预览

当前端侧推理的起点，未来端侧推理的支点。 作者｜赵健 大模型火了之后，GPU也火了。一时间，GPU的持有量几乎成为了评估大模型成败的“度量衡”。 GPU很好，但不是大模型的全部。远比GPU诞生更早的中央处理器芯片——CPU，它在大模型中的地位可能被远远低估了。 尤其是在端侧大模型兴起之后，端侧推理越来越成为CPU的舞台。 过去大半年，端侧推理已经成为继“百模大战”之后下一个行业趋势，由此衍生的AI PC、AI手机等概念，也成为电脑厂商、手机厂商的兵家必争之地。 把大模型装在PC、手机或者其他硬件中，需要足够的算力来支撑，同时也需要兼顾效率和功耗。而CPU很可能是当前阶段端侧推理的算力最优解。  1.端侧大模型火了 今天，如果你想体验业内最领先的大模型对话助手，无论是OpenAI的ChatGPT，还是国内的Kimi、智谱清言等，都必须 ………………………………