LLM大模型推理测试 & AI PC选型指南 (1)

文章预览

目录 - 为什么是 LLM 大语言对话模型？ - 测试项目： token/ 秒（平均延时）、首个 token 延时 - 官方对比测试数字——补充参考 - 当 iGPU 性能达到 CPU Core 10 倍 … - 测试平台：不完美有不完美的价值 - 更多发现、总结与展望 引言：在拟定了本文的题目《 AI PC 选型指南》之后，我觉得这个帽子可能有点大，所以就在后面加了个 (1) 。这样后续我就可以再不断补充，另外说实话一次的篇幅也感觉不太够。 我想把本文推荐给所有关注用 PC 跑“端侧”大模型的朋友 ，即便您能拿到官方的参考数据，我也建议您再看看这个测试。我先针对 CPU （包含 iGPU 集成显卡） 来跑，但不只是最新的“ AI PC ”，也包括 Intel 之前的 13 代大核 + 小核 CPU ，因此您能看到 Arc 与 Xe 的对比。 为什么是 LLM 大语言对话模型？ 几个月前我参加了一场有关 AI PC 的市场活动，记得有位同 ………………………………