苹果 | 国际巨头的端侧 AI布局 深度分析2024

文章预览

1.1.1 苹果AI：模型侧：MM1 3月苹果正式公布自家的多模态大模型MM1，MM1是一个具有最高300亿参数的多模态LLM系列。 MM1由密集模型和混合专家（MoE）变体组成，具有300亿、70亿、30亿参数等多个版本 。MM1不仅在预训练指标中实现最优性能SOTA，在一系列已有多模态 基准上监督微调后也能保持有竞争力的性能。 得益于大规模多模态预训练，MM1模型在上下文预测、多图像和思维链推理等方面表现不错。MM1模型在指令调优后展现出强大 的少样本学习能力。在几乎所有基准测试中，苹果的MoE模型比密集模型取得更好的性能，显示MoE进一步扩展的巨大潜力。 由于其大规模多模态预训练，MM1可进行上下文预测。这使得MM1能够： a）计 数对象并遵循自定义格式； b）引用图像的部分并执行OCR； c）展示关于日常物品的常识和词汇知识； d）执行基本的数学函数。 MM1模 ………………………………