30B！每秒100tokens！这是AMD对AI PC的“幻想时间”

文章预览

夕小瑶科技说 原创 作者 | 谷雨龙泽 随着AI的高速发展，从去年开始，挂在服务器的云端AI模型已经不能满足技术发烧友的胃口了，AI PC应运而生。 AI PC就是内嵌个人大模型的电脑，具备更强的算力、更大的存储空间和更顺畅的自然语言交互功能，其核心特征包括CPU、GPU和NPU的本地混合计算架构，能够支持个人终端和家庭主机/企业主机协同运算。 一直以来，受到硬件条件的限制，AI PC的AI表现一直不是很出色。没办法，自己电脑就那点东西，怎么能和一车一车显卡堆起来的云端大模型比呢？ 但是这并不妨碍各大厂家对未来的美好畅想。近期，AMD就对未来的AI PC进行了预测： 未来的AI PC将以每秒100个token的速度运行30B参数模型！ 30B和100token/s，意味着什么？ AMD预测未来的AI PC将以每秒100个token的速度运行300亿参数模型，首个token的延迟达到100毫秒，而现 ………………………………