苹果发布了Apple Intelligence基石模型的技术报告

文章预览

苹果刚刚发布了《苹果智能基石语言模型技术报告》，详细介绍了作为即将进入苹果设备（iPhone，iPad，Mac和其他）的AI模型的技术细节。 苹果AI基石模型 https://machinelearning.apple.com/research/introducing-apple-foundation-models 看点： 1、基石模型是两个，一个是运行在设备上的模型，叫做“设备上的苹果基石模型”（Apple Foundation Model-on-Device，后面直接用AFM-on-Device），大约30亿参数（3B），直接在iPhone、iPad、Mac等系统上本地运行；另一个叫做“服务器端的苹果基石模型”（AFM-server），参数规模不详。 2、AFM-on-Device由AFM-server知识蒸馏而来，AFM-server模型训练使用了8192个Google TPUv4，使用了6.3T的tokens，训练使用了苹果自己的AXLearn框架（基于JAX之上修改的）； 3、主要表现：苹果列出了与其他模型相比，人工评价的结果（人工评价这个问题，现在也跟那些所谓客观评 ………………………………