专栏名称: 量子位
վ'ᴗ' ի 追踪AI行业和技术动态,这里更快一步!关注我们,回复“今天”,更多大新闻等你来发现
目录
今天看啥  ›  专栏  ›  量子位

成本降低90%!Claude上新Gemini同款提示词缓存,一次性记住整个代码库

量子位  · 公众号  · AI  · 2024-08-15 12:44
    

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI Claude深夜上新重磅功能—— API长文本缓存。 新版API可以“记住”一整本书或整个代码库,不需要再重复输入了。 这样一来,不仅处理长文本的延时更低,更是能 节省最高90%的成本 。 来看看这降本的效果~ △ 假定重复部分为1万Token,模型为3.5 Sonnet,只计算输入 今年5月,谷歌在Gemini更新中提出了这项功能,然后是国内的Kimi和D eepSeek团队 ,总之现在又轮到了Claude。 值得一提的是,厂商Anthropic的推文当中提到,提示词缓存功能可以让用户用更长、更有指导性的提示词对模型进行“微调”。 有网友看了之后感慨,人们本来就很难分清提示工程 (prompting) 和微调 (fine-tune) ,这下更不好区分了。 当然在这种场合下,也难免会有人点名或不点名地cue起隔壁的OpenAI。 成本节约高至90% 提示词缓存的作用,就是一 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览
推荐产品:   推荐产品