文章预览
在全球范围内,人工智能军备竞赛最初的起点是追求“大”: 巨型模型在海量的数据上进行训练,试图模仿具有人类智能水平的人工智能。 然而如今, 大量科技巨头和初创企业正在开始考虑缩小AI软件的规模,使其更便宜、更快速、更专业…… 这类AI软件被称为小型语言模型(SLM)或中型语言模型,使用较少的数据进行训练,通常专为特定任务而设计。 作为对比,那些知名的大型语言模型(LLM),如OpenAI的GPT-4,开发成本超过1亿美元,训练的参数达到了逾1万亿。而较小的语言模型则通常在较窄的数据集上进行训练——例如,可能仅仅聚焦于法律问题上,其训练成本往往可能不到1000万美元,参数不到100亿。较小的模型也将消耗较少的算力,因此响应每个查询的成本也较低。 近几个月来,微软就正在大力宣传其名为“Phi”轻量级AI模型系列。 微软首席执
………………………………