MiniMax 深夜首次开源，400万长文本，全新架构，挑战Transformer

文章预览

昨天深夜，MiniMax 突然宣布发布自家最新语言大模型，并且历史首次全面开源。 基础语言大模型 MiniMax-Text-01，视觉多模态大模型 MiniMax-VL-01 全新的 Lightning Attention 架构，平方变线性，大幅降低推理成本 重磅开源，文本模型参数高达 4560亿，32 个专家 超超长 400 万字长上下文，且性能追平顶尖海外模型 模型、代码、技术报告已经全部发布，非常真诚 目前网页体验和API也都已经上线，可以在线体验和商用，地址见文章最后。 新技术：Lightning attention 这次模型最让人惊喜的就是全新的线性注意力架构。 大家都知道在实际的 AI 使用中，长文本至关重要，角色聊天的超长记忆，AI Coding 写代码，Agent 完成各种任务，哪个场景都离不开长文本。 大模型虽然一直在降价，但是使用的时候上下文越长，速度就越慢，价格也就越贵。 这个问题的根源是 Transformer 架 ………………………………