还在“卷”长度？长文本模型真的基于上下文进行回复吗？

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 深度学习自然语言处理 近年来，随着长文本模型（Long-context Model, LCM）技术的突飞猛进，处理长上下文的能力已成为各大语言模型（Large Language Model, LLM）的核心竞争力，也是各大技术厂商争夺的焦点。截至2023年12月，鲜有模型能够超越8K上下文的限制，然而到了2024年9月，Gemini Pro模型已经能够处理长达2M的上下文。在短短9个月的时间里，长文本模型的上下文窗口实现了250倍的惊人增长。最近备受关注的OpenAI的o1-preview模型，第三方文档[1]也宣称能够处理长达130K的上下文。 那么，这些模型在长文本理 ………………………………