MIT系初创打破Transformer霸权！非GPT架构首次显著超越Transformer

文章预览

来源 | 机器之心 在大模型时代，谷歌 2017 年开创性论文《Attention Is All You Need》中提出的 Transformer 已经成为主流架构。 然而，刚刚一家由 MIT 计算机科学与人工智能实验室 (CSAIL) 前研究人员共同创立的初创公司 Liquid AI 却走出了不一样的路线。 Liquid AI 表示他们的目标是「探索构建超越生成式预训练 Transformer (GPT) 基础模型的方法」。 为了实现这一目标，Liquid AI 推出了其首批多模态 AI 模型：Liquid Foundation Models（LFM）。这是基于第一原理构建的新一代生成式 AI 模型，其 1B、3B 和 40B LFM 在各个规模上均能实现 SOTA 性能，同时保持更小的内存占用和更高效的推理。 Liquid AI 后训练主管 Maxime Labonne 在 X 上表示，LFM 是他职业生涯中最自豪的版本 ，LFM 的核心优势在于它们能够胜过基于 Transformer 的模型，同时占用更少的内存。 有人表示，LFM 是 Transformer 的终结 ………………………………