Meta AI推出适用于移动设备的紧凑型语言模型

文章预览

点击 上方 蓝字 关注我们 “ Meta AI 推出 MobileLLM，一种为移动设备设计的高效语言模型。该模型通过优化参数，实现了与更大模型相当的性能，推动了 AI 模型小型化和效率化的趋势。 Meta AI 研究团队最近推出了 MobileLLM，这是一种为移动设备和其他资源受限环境量身定制的高效语言模型。这项研究在 2024 年 6 月 27 日发布，它打破了人们对于 AI 模型必须庞大的传统认知。 这个由 Meta Reality Labs、PyTorch 和 Meta AI Research (FAIR) 的成员组成的团队，专注于开发参数不足 10 亿的模型，这与 GPT-4 等拥有超过一万亿参数的庞然大物相比，简直是小巫见大巫。 Meta 的首席人工智能科学家 Yann LeCun 在 X 平台上分享了这项研究的几个亮点： MobileLLM 的创新之处在于： - 强调模型的深度而非广度 - 采用嵌入共享和分组查询注意力机制 - 引入了一种创新的即时块状权重共享 ………………………………