RAG不存在了？世界首个1亿token神级上下文模型诞生，前OpenAI大佬加盟获4.65亿融资！

文章预览

就在刚刚，AI上下文处理的新纪录被打破了！ Magic开发了一个专门针对代码的语言模型——LTM-2-mini。 它的上下文窗口，包含1亿个token，相当于1000万行代码，或750部小说。 这远远超出了以前的限制，AI模型的运作方式，从此可能从根本上改变！ 从此，我们再也不需要RAG了？ 而且，LTM-2-mini采用了序列维度算法，这种计算效率要比Llama 3.1 405B的注意力机制高出约1000倍。 这种能力，极大地扩展了模型在实际应用中的适用范围。在软件开发中，模型可以利用整个代码库、相关文档和库，来生成更高质量的代码了！ 在这个过程中，团队还设计了一个新的评估上下文长度和可靠性的体系HashHop，取代了「大海捞针」。 哈希是随机的，因此是不可压缩的，这就要求模型能够在任何时候，存储和检索给定上下文大小的最大可能信息内容。 而写出所有中间哈希值， ………………………………