FrugalGPT：在使用大语言模型中同时降低成本和提高性能

文章预览

23年5月来自斯坦福大学的论文“FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance”。 用户可以付费查询的大语言模型 (LLM) 数量正在迅速增加。调查目前查询流行 LLM API（例如 GPT-4、ChatGPT、J1-Jumbo）的相关成本，发现这些模型的定价结构各不相同，费用可能相差两个数量级。特别是，在大量查询和文本上使用 LLM 可能会非常昂贵。受此启发，本文讨论用户可以利用的三种策略来降低使用 LLM 相关的推理成本：1) 提示适应，2) LLM 近似，3) LLM 级联。 作为示例，本文提出 FrugalGPT，这是 LLM 级联的一个简单而灵活的实例，它可以学习针对不同的查询使用哪些 LLM 组合以降低成本并提高准确性。实验表明，FrugalGPT 可以达到最佳单个 LLM（例如 GPT-4）的性能，同时成本降低高达 98%，或者以相同的成本将准确率比 GPT-4 提高 4%。 目前正处于大语 ………………………………