Facebook最新语言模型XLM-R：多项任务刷新SOTA，超越单语BERT

  新智元报道  来源：Facebook AI编辑：肖琴【新智元导读】Facebook AI最新推出一个名为XLM-R的新模型，使用100种语言、2.5 TB文本数据进行训练，在多项跨语言理解基准测试中取得了SOTA的结果，并超越了单语言的BERT模型。代码已开源，来新智元 AI 朋友圈获取吧~Facebook AI近日发布一个名为XLM-R的新模型，使用100种语言、2.5 TB文本数据进行训练，在四项跨语言理解基准测试中取得了迄今最好的结果。Yann LeCun在Twitter上赞赏该研究XLM-R使用自我监督(self-supervised)的训练技术实现了跨语言理解的SOTA性能。在这项任务中，用一种语言对模型进行训练，然后将模型用于其他语言，而不需要额外的训练数据。XLM-R模型通过合并更多的训练数据和语言(包括缺乏标签的的低资源语言和未标记 ………………………………