元建模方法选择成本-高效的语言模型

文章预览

23年12月来自瑞士EPFL的论文“Fly-Swat or Cannon? Cost-Effective Language Model Choice via Meta-Modeling”。 生成式语言模型 (LM) 已在数据科学中无处不在。对于各种各样的任务，输入可以表述为 LM 的自然语言提示，然后可以从其输出中提取解决方案。LM 性能一直随模型规模的扩大而提高，但查询越来越大模型的财务成本也在增加。然而，重要的是，并非所有输入都是同样难度：有些输入需要更大的 LM 才能获得令人满意的解决方案，而对于其他输入，较小的 LM 就足够了。基于这一事实，设计一个具有成本效益的语言模型选择框架，称为“苍蝇拍或大炮”（ FORC ）。给定一组输入和一组候选 LM，FORC 会根据所谓的元模型明智地将每个输入分配给预测在输入上表现良好的 LM，旨在以低成本实现高整体性能。用户可以灵活地调整成本-性能权衡。选项包括最大化预期总性 ………………………………