长长长长长长！世界上首个支持 1 亿上下文的模型正式发布

主要观点总结

Magic公司发布支持最大上下文窗口为100M tokens的模型LTM-2-mini。该模型能够处理大量文本数据，并能在处理过程中理解单词、短语或句子在特定上下文中的含义。与现有模型相比，LTM-2-mini更高效且内存需求较小。此外，Magic公司还设计了一种名为HashHop的测试方法来评估模型的能力。

关键观点总结

关键观点1: 模型发布

Magic公司发布了世界上第一个支持最大上下文窗口为100M tokens的模型LTM-2-mini。

关键观点2: 模型能力

LTM-2-mini能够处理并理解相当于约750本小说的文本量或1000万行代码，在处理这些tokens时更高效且内存需求小。

关键观点3: 上下文窗口的重要性

上下文窗口能让AI模型理解单词、短语或句子在特定上下文中的含义，有助于完全理解文本内容。

关键观点4: 测试方法

Magic公司设计了一种名为HashHop的测试方法，以评估模型在没有提示的情况下处理随机信息的能力。

关键观点5: 未来展望

Magic公司正在超级计算机上训练全新的大模型LTM-2，并致力于解决现有大模型在逻辑推理方面的不足。

文章预览

今天凌晨， AI 初创公司 Magic 发布了世界上第一个支持 100M 上下文窗口的模型 LTM-2-mini。 这是什么概念呢，简单来说，该模型能够处理并理解相当于约 750 本小说的文本量，亦或者 1000 万行代码。 与其他模型相比，LTM-2-mini 在处理这些 tokens 时更加高效。 比如，当处理同样多的 tokens 时，它的算法比 Llama 3.1 模型的注意力机制便宜约 1000 倍。 不仅如此，LTM-2-mini 对内存的需求也小得多。例如，运行 Llama 3.1 需要 638 个高性能 GPU 来存储这些数据，而它只需要其中的一小部分 GPU 内存就能做到同样的事情。 在此之前，世界上公开可用的 LLM 中，独一档的上下文窗口来自 Gemini 1.5 的 1M tokens，甚至其内部也已经成功实现了高达 10M tokens 的上下文窗口，相当于能一口气看完 9 个小时的《指环王》三部曲。 而现在，LTM-2-mini 将这场技术竞赛卷到了 100M。 想象一下 ………………………………