给机器人装上「虫脑」？非Transformer液态神经网络终于来了！MIT CSAIL负责人创业成果

文章预览

一个受线虫启发的全新架构，三大「杯型」均能实现 SOTA 性能，资源高度受限环境也能部署。移动机器人可能更需要一个虫子的大脑。 在大模型时代，谷歌 2017 年开创性论文《Attention Is All You Need》中提出的 Transformer 已经成为主流架构。 然而，刚刚一家由 MIT 计算机科学与人工智能实验室 (CSAIL) 前研究人员共同创立的初创公司 Liquid AI 却走出了不一样的路线。 Liquid AI 表示他们的目标是「探索构建超越生成式预训练 Transformer (GPT) 基础模型的方法」。 为了实现这一目标，Liquid AI 推出了其首批多模态 AI 模型：Liquid Foundation Models（LFM）。这是基于第一原理构建的新一代生成式 AI 模型，其 1B、3B 和 40B LFM 在各个规模上均能实现 SOTA 性能，同时保持更小的内存占用和更高效的推理。 Liquid AI 后训练主管 Maxime Labonne 在 X 上表示，LFM 是他职业生涯中最自豪的版 ………………………………