主要观点总结
本文主要讨论了手机终端侧AI的发展状况和面临的挑战。文章介绍了两个重要时间节点，一是去年高通骁龙峰会上展示的手机终端侧生成式AI的演示，二是今年苹果WWDC上发布的Apple Intelligence。文章指出，虽然技术演示和技术落地之间还有一段距离，但终端侧AI对于降低成本和提升用户体验具有重要意义。文章还提到，现阶段端侧大模型大规模落地还不具备成熟条件，需要等待硬件和软件共同进步。同时，也不必执着于当下端侧大模型的参数量，未来随着技术的进步，更小参数的模型也能提供不错的体验。文章最后指出，与模型提供商合作达到提高模型准确度和减少内存占用的目标，以及实现成本和性能之间的平衡是未来的发展方向。
关键观点总结
关键观点1: 手机终端侧AI的两个重要时间节点及现状
第一个节点是去年高通骁龙峰会上的演示，第二个节点是今年苹果WWDC上发布的Apple Intelligence。目前技术演示和技术落地之间还有一段距离，手机上的生成式AI主要还是在云端完成。
关键观点2: 终端侧AI的意义和挑战
终端侧AI可以降低计算成本和提高用户体验，但面临内存限制和技术落地难题等挑战。
关键观点3: 关于端侧大模型内存占用的讨论
一个7B参数的模型需要占用大量内存，对于非旗舰手机来说挑战巨大。未来随着技术的进步，更小参数的模型也能提供不错的体验。
关键观点4: 当下AI大模型的发展趋势和挑战
大模型的水平和参数量不一定成正比关系，存在边际效益递减现象。针对特定领域的垂直模型可能在特定领域表现比通用大模型要好。当前需要谨慎控制成本增加，与模型提供商合作以实现提高准确度和减少内存占用的目标。
文章预览
关于手机终端侧 AI，有两个重要的时间节点，一是去年高通骁龙峰会，出现了一大批手机终端侧生成式 AI 的演示，文生图，文生文，情景感知智能提示都不在话下，这些运算全都基于本地，主要依靠 7B 左右的端侧大模型，或者手机上运行的 Stable Diffusion 实现，无需任何云端的算力。 比如今年年初，高通发布了新的 AI Hub，这个 AI Hub 包含预优化 AI 模型库，支持在搭载骁龙和高通平台的终端上进行无缝部署。该模型库为开发者提供超过 75 个主流的 AI 和生成式 AI 模型，比如 Whisper、ControlNet、Stable Diffusion 和 Baichuan-7B，可在不同执行环境 (runtime) 中打包，能够在不同形态终端中实现终端侧 AI 性能、降低内存占用并提升能效。 我们现在使用的 ChatGPT 或者 Kimi 这样的 AI 应用，结果的生成都是在云端，背后可能是数千亿乃至万亿级别的参数模型。 第二个节
………………………………
