文章预览
24年6月来自杭州心识公司（Mindverse AI）发表的论文“AI-native Memory: A Pathway from LLMs Towards AGI”。 大语言模型（LLM）已经向世界展示了通用人工智能（AGI）的光芒。一种观点，尤其是来自一些从事LLM的初创公司观点，认为具有几乎无限上下文长度的LLM可以实现AGI。然而，他们可能对（现有）LLM的长上下文能力过于乐观。最近的文献表明，各个公司LLM的有效上下文长度明显小于其声称的上下文长度。另外，大海捞针实验进一步表明，同时从长上下文中找到相关信息并进行（简单）推理几乎是不可能的。 本文设想一条通过整合记忆从LLM到AGI的途径。AGI应该是一个以LLM为核处理器的系统。除了原始数据外，该系统的记忆还将存储大量从推理过程中得出的重要结论。与仅仅处理原始数据的检索增强生成 (RAG) 相比，这种方法不仅将语义相关的信息联系得更紧密
………………………………
