文章预览
2024年6月10日,在2024年WWDC全球开发者大会上,苹果推出了Apple Intelligence,这是深度集成到iOS 18、iPadOS 18和macOS Sequoia中的个人智能系统。 为了让大模型能在 iPhone 端侧跑,苹果还是做了很多事情的。接下来就跟大家介绍一下苹果在端侧部署大模型的做法以及在机器学习方面的一些研究。 端侧模型大小为 3B,在 iPhone 上延迟为 6 毫秒,每秒可以输出 30 个 Token。使用 AXLearn 框架进行模型训练,并采用了多种并行化技术来提高训练效率。通过使用Lora来微调其基础模型,使其能够适应用户的日常活动,并且能够即时调整以适应特定任务。 Apple Intelligence介绍 Apple Intelligence 由多个功能强大的生成模型组成,这些模型专门用于用户的日常任务,并可以根据用户的当前活动进行动态调整。Apple Intelligence 内置的基础模型已针对用户体验进行了微调,例如编写和优
………………………………