今日开源（2024-11-01）：Meta发布MobileLLM模型代码，1B参数级高质量语言模型，零样本常识推理任务表现优异

文章预览

🏆基座模型 ①项目： MobileLLM ★ MobileLLM是Meta推出的一个针对在设备上使用场景优化的十亿参数级语言模型。 该项目通过整合SwiGLU激活函数、深薄架构、嵌入共享和分组查询注意力机制等多种设计因素，实现了在少于十亿参数的情况下获得高质量的语言模型。 MobileLLM-125M/350M在零样本常识推理任务上相比先前的同规模最佳模型取得了显著的准确率提升 ，在聊天和API 调用任务中，效能大幅超越同参数量的小型LLM。 ☆一键收藏： https://sota.jiqizhixin.com/project/mobilellm ②项目：SmolLm2 ★ SmolLM2是一款紧凑型语言模型，具有1.7B、360M、135M三个参数级。 该模型在指令跟随、知识推理和数学能力上表现出显著进步。通过监督微调和超反馈优化，该模型支持文本重写、摘要生成和函数调用等任务。 ☆一键收藏： https://sota.jiqizhixin.com/project/smollm2 ③项目：Genmoai-smol ………………………………