RAG与Long-Context LLM之争—没必要争

文章预览

写在前面 随着大模型可以支持的上下文(Context)长度越来越长，网上（好几个群里都在聊这个话题，也来聊几句）竟然出现了RAG与Long-Context之争，是真没必要。。。主要是两者不冲突，并不是非A即B、非B即A的关系。 个人观点： 如果类比做检索系统的话，RAG应该算作粗排，而Long-Context可以算是精排。 RAG的本质是通过用户问题从数据库/知识库中找到相关片段内容，再利用大模型查找或总结出答案。Long-Context的本质是将所有文本内容全部灌入到大模型中，用户问一个问题，再利用大模型查找或总结出答案。 本质区别在于外部知识如何给到大模型，以及给多少到大模型。 这也是大家的所“争”之处，因为大模型可以接受的长度越长，那么检索的重要性就会降低， 对检索效果的依赖就会降低 ，也就是为什么有人持观点，未来没有RAG，只有Long-Context。但 ………………………………