当前都在堆长窗口，还需要RAG吗？

文章预览

自从谷歌的 Gemini 1.5 Pro 发布后，行业内就有不少人在背后 “蛐蛐” RAG。 一方面是因为，Gemini 的表现确实亮眼。根据官方发布的技术报告，Gemini 1.5 Pro 能够稳定处理高达 100 token，相当于 1 小时的视频、11 小时的音频、超过 3 万行代码或 70 万个单词，处理极限为 1000 万 token，相当于《指环王》三部曲，创下了最长上下文窗口的纪录。 凭借超长上下文理解能力，Gemini 1.5 Pro 得到了很多用户的认可。很多测试过 Gemini 1.5 Pro 的人更是直言，这个模型被低估了。有人尝试将从 Github 上下载的整个代码库连同 issue 都扔给 Gemini 1.5 Pro，结果它不仅理解了整个代码库，还识别出了最紧急的 issue 并修复了问题。 当然，除了谷歌在卷 “上下文长度”，其他大模型公司也都在卷这个能力。去年下半年，GPT-3.5 上下文输入长度从 4 千增长至 1.6 万 token，GPT-4 从 8 千增长 ………………………………