“小语言模型”或成为庞大人工智能选项的替代品

文章预览

点击蓝字 关注我们 SUBSCRIBE  to US ISTOCK 科技公司已经陷入了建立大型语言模型（LLM，https://spectrum.ieee.org/ai-index-2024）的竞争中。例如，今年4月，Meta宣布了4000亿个参数Llama 3，其中包含的参数数量是OpenAI 2022年最初的ChatGPT模型的两倍，即决定模型如何响应查询的变量。虽然没有得到证实，但GPT-4的参数估计约为1.8万亿。 然而，在过去的几个月里，包括苹果和微软在内的一些最大的科技公司推出了小型语言模型。这些模型只是LLM模型的一小部分，但在许多基准测试中，它们在文本生成方面可以与LLM模型相匹配，甚至优于LLM模型。 6月10日，在苹果全球开发者大会上，该公司发布了其“Apple Intelligence”模型（https://www.apple.com/apple-intelligence/），其参数约为30亿。4月下旬，微软发布了其Phi-3 SLM系列，其型号包含38亿至140亿个参数。 在一系列测试中（https://arxi ………………………………