主要观点总结
文章主要讨论了端侧AI的发展状况，包括各大厂商的竞争态势、技术进展、面临的挑战以及未来趋势。文章指出，虽然大模型在终端设备上仍面临诸多挑战，但端侧AI已成为各大厂商争夺的焦点。文章还提到了不同的解决方案和策略，如通过蒸馏和微调打造具备某些专长的小模型、构建ShieldGemma分类器以确保AI输出高质量内容、以及通过Agent技术实现更智能的交互等。此外，文章还讨论了隐私保护在端侧AI中的重要性，并介绍了苹果和其他公司通过不同方式解决数据隐私问题的尝试。总的来说，文章认为端侧AI的实现需要多方面的协同和优化，包括模型、数据、生态和安全等维度的综合考虑。
关键观点总结
关键观点1: 端侧AI成为争夺下一代流量入口的关键
文章指出，端侧AI是各大厂商争夺的焦点，因为它能够为用户提供更智能的体验。
关键观点2: 大模型在终端设备的落地仍面临挑战
虽然大模型在终端设备上取得了显著进展，但仍面临电池续航、散热、显存带宽、GPU算力和显存容量等挑战。
关键观点3: 小模型在特定任务上表现出色
文章提到，像Apple Intelligence的Apple On-Device等小模型通过专项任务小模型的生成、适配器的动态加载与交换、以及端侧模型的整体量化压缩，可以在特定的端侧任务上表现出色。
关键观点4: 云端和端侧协同是发展趋势
文章认为，云端大模型与端侧小模型的结合是未来的发展趋势，云端大模型可以提供强大的计算能力和丰富的资源，而端侧小模型则可以实现快速响应和本地化处理。
关键观点5: 隐私保护是端侧AI的核心诉求之一
文章讨论了隐私保护在端侧AI中的重要性，并介绍了苹果和其他公司通过不同方式解决数据隐私问题的尝试。
文章预览
李瑞龙 腾讯研究院 腾讯研究院AGI路线图系列专题研究 作为争夺下一代流量入口的关键机遇，端侧AI （运行在手机等设备端的生成式AI模型） 已然成为各大厂商必争之地。虽然，站在当下的时间点，除了少数工程样机之外，我们仍难以在终端设备上获得理想的AI体验，这主要是因为大模型在终端设备落地时，仍然面临诸多挑战。比如，短期内，从突破难度来排序，电池续航和散热问题>显存带宽>GPU算力和显存容量，成为一系列亟待解决的难点。尽管如此，终端生态多方的信心并没有受到影响，大家正在使尽浑身解数共同促进端侧AI的实现。 大模型“压缩”极限不断下探 7B的预期端侧门槛正在被进一步打破。 从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今，7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛，且很难通过量化
………………………………
