一窥廉价LLM时代的Agent策略框架设计【2024.7】

文章预览

TL;DR 介绍一种新的设计思路：用少量的prompt撬动尽可能多的智力工作量。 1、前提条件 1.1、高性价比LLM的到来 虽说现在各家LLM供应商都很难做到持续的快速提升，但从整个生态来说每个季度整个生态进展都是比较显著的。2024年Q2商用LLM API提供的能力有几个主要的进展： 文本模态方面，效果真的能够接近和追上GPT4o的LLM供应商明显变多 国内开始卷性价比，成本很低、效果还可以的模型正在变多，成为无法忽视的新类别。（指的是每M token 1-2RMB的那批模型中的效果较好的那部分。） Context window也大都提升到至少32k token 最近3个月没有太多关注这方面的读者请看下我6月的LLM API简报  2024.6 W2 商用LLM API进展简评 可以预见，在未来半年高性价比的LLM应该会变得更加普及。 1.2、基于少量LLM调用的方案能力仍然很有限 单次LLM调用的能力方面：在国内半年，甚 ………………………………