时隔6年，谷歌BERT终于有替代品了！更快更准更长，还不炒作GenAI

文章预览

机器之心报道 编辑：陈陈、杜伟 真正有用的主力模型。 BERT 于 2018 年发布，这个时间点，如果按照 AI 的纪事年代来说，可以说是一千年以前的事了！虽然过去了这么多年，但至今仍被广泛使用：事实上，它目前是 HuggingFace 中心下载量第二大的模型，每月下载量超过 6800 万次。 好消息是，六年后的今天，我们终于有了替代品！ 近日，新型 AI 研发实验室 Answer.AI、英伟达等发布了 ModernBERT。 ModernBERT 是一个新的模型系列，具有两个型号：基础版 139M 、较大版 395M。在速度和准确率方面都比 BERT 及其同类模型有了显著改进。该模型采用了近年来在大型语言模型 (LLM) 方面的数十项进展，包括对架构和训练过程的更新。 除了速度更快、准确度更高外，ModernBERT 还将上下文长度增加到 8k 个 token，而大多数编码器只有 512 个 token，并且是第一个在训练数据中包 ………………………………