苹果：Apple Intelligence开启用户测试，两大基础模型「附带详细技术报告」

主要观点总结

本文介绍了苹果推出的Apple Intelligence及其背后的技术细节。其中，苹果发布了技术报告详细介绍了支撑这一功能的基础语言模型，包括两个基础模型AFM-on-device和AFM-server。文章还涉及这些模型的构建、优化、适配、预训练、后期训练、特性适配、优化、评估等方面的细节，并指出这些模型是苹果公司创建的一个更大的生成式模型家族的一部分。报告还提到了模型的评估方法和其在指令遵循、写作、数学、工具使用等方面的优秀表现。

关键观点总结

关键观点1: Apple Intelligence的推出及功能

苹果开始推出Apple Intelligence，这是支撑苹果设备和云端功能的“超级大脑”，能够支持多种任务，如写文章、编程、操作工具等。

关键观点2: 两个基础模型的详细介绍

苹果详细介绍了两个基础模型AFM-on-device和AFM-server，它们分别是Apple Foundation Model的缩写和基于服务器的语言模型，是苹果公司创建的一个更大的生成式模型家族的一部分。

关键观点3: 模型的构建和优化的细节

文章涉及了模型的构建、优化、适配、预训练、后期训练等方面的技术细节，包括模型架构、预训练数据集的选择和处理、预训练的三个阶段、后期训练的提升方法、特性适配的优化等。

关键观点4: 模型的评估

使用了预训练、后期训练和特定特性相关的基准测试对模型进行评估，并指出AFM模型在指令遵循、写作、数学、工具使用等方面表现出色。

文章预览

Apple Intelligence 已经开始向测试用户推出了。与此同时，苹果还发布了一份技术报告，详细介绍了支持这项新功能的基础语言模型，这是支撑着苹果设备和云端功能的"超级大脑" 这份报告里有不少干货。从模型设计到数据处理,从训练方法到性能优化,苹果把他们的"独门秘籍"都和盘托出了。虽说这不是用来聊天的,但它是个多面手 - 写文章、编程、操作工具,样样精通 ‍ 苹果宣称始终把用户放在第一位，不仅追求模型的高效快速,更重视如何真正帮到我们 ‍ Apple Intelligence中使用的两种基础大语言模型：AFM-on-device（适用于设备）和AFM-server（用于服务器） 具体来说： 在这份报告中，苹果详细介绍两个模型的构建，优化，和适配过程。这两个模型分别是： AFM-on-device（AFM是Apple Foundation Model的缩写）：一个约30亿参数的语言模型，设计用于设备端运行 ‍ ‍ A ………………………………