给手机终端侧 AI 多点耐心

文章预览

关于手机终端侧 AI，有两个重要的时间节点，一是去年高通骁龙峰会，出现了一大批手机终端侧生成式 AI 的演示，文生图，文生文，情景感知智能提示都不在话下，这些运算全都基于本地，主要依靠 7B 左右的端侧大模型，或者手机上运行的 Stable Diffusion 实现，无需任何云端的算力。 比如今年年初，高通发布了新的 AI Hub，这个 AI Hub 包含预优化 AI 模型库，支持在搭载骁龙和高通平台的终端上进行无缝部署。该模型库为开发者提供超过 75 个主流的 AI 和生成式 AI 模型，比如 Whisper、ControlNet、Stable Diffusion 和 Baichuan-7B，可在不同执行环境 (runtime) 中打包，能够在不同形态终端中实现终端侧 AI 性能、降低内存占用并提升能效。 我们现在使用的 ChatGPT 或者 Kimi 这样的 AI 应用，结果的生成都是在云端，背后可能是数千亿乃至万亿级别的参数模型。 第二个节 ………………………………