MiniMax-01终于成了！

文章预览

2025 年新年伊始，AI 圈内重磅消息接连而至。 最近， MiniMax 宣布开源全新一代基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01 。 此次开源发布不仅展示了 MiniMax 在大模型领域的技术创新，还实现了一项显著突破——将 上下文窗口扩展至 400万 Token ，使其在处理长文本时的能力达到了前所未有的高度。 得一提的是，MiniMax 的上下文窗口是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍 ，大大超越了目前业内大多数模型的能力。 传统的 Transformer 模型广泛采用 Softmax 自注意力机制，其计算复杂度为     ，使得上下文窗口长度受限（32K-256K Token）。随着任务的复杂性不断增加，传统模型在长链任务中的表现已经无法满足需求。对比而言，MiniMax解决了这一复杂度问题，并采用了全新架构设计，其亮点有： 全新架构设计 ：MiniMax 采用了基于 线性注意力 ………………………………