Meta开发新模型BLT，字节级处理超越传统Token架构

文章预览

在日常生活中，我们经常能看到一些有趣的英文单词拼写错误，比如 把“mayonnaise”（蛋黄酱）写成“mayonase”。 对于人类来说，这种拼写错误通常不会造成理解障碍，可是对于目前的 AI 语言模型来说，这却是一个不小的挑战。 为了解决这个问题， Meta 、美国华盛顿大学和美国芝加哥大学的科学家们共同开发出了一种突破性的新型 AI 架构，取名为字节潜在 Transformer（BLT，Byte Latent Transformer）。 近日，相关论文以《 字节潜在  Transformer: 补丁扩展优于  Tokens 》（Byte Latent Transformer: Patches Scale Better Than Tokens）为题在发表在预印本网站 arXiv 上[1]。 主要作者包括拉姆·帕苏努鲁（Ram Pasunuru）、佩德罗·罗德里格斯（Pedro Rodriguez）、约翰·阮（John Nguyen）、阿里·霍尔茨曼（Ari Holtzman）和斯里尼瓦桑·伊耶（Srinivasan Iyer）。 图丨相关论文（来源： arXiv ） 实 ………………………………