【国盛计算机】从关键论文看边缘AI

文章预览

核心观点 苹果发布 Apple Intelligence ，自研端 + 云模型能力优秀。 2024 年全球开发者大会上，苹果推出了个人智能系统 Apple Intelligence ，其中用到两个模型：一个 30 亿参数的设备端模型，以及一个更大的在服务器上运行的模型。 Apple Intelligence 在基础模型上增加了许多适配器针对总结、校对、邮件回复、音调调整、查询处理、友好性、紧急情况等不同具体任务进行了优化。在多项能力评测中，苹果自研的设备端模型和服务器模型相对可比的开源或商用模型均取得了优秀的成绩。 解决边缘侧性能问题，苹果技术储备充分。 大语言模型对计算和内存的大量要求带来了挑战， 2023 年 12 月苹果发布论文《 LLM in a flash: Efficient Large Language Model Inference with Limited Memory 》提出将模型参数存储在闪存中，按需将其引入内存，解决高效运行超过可用内存容量的大模型 ………………………………