LLM的「母语」是什么？

文章预览

  新智元报道   在以英语为主的语料库上训练的多语言大语言模型（LLM）时，是否使用英语作为内部语言？针对这一问题，瑞士洛桑联邦理工学院（EPFL）的研究人员对Llama 2系列模型展开了一系列实验。 大语言模型的「母语」究竟是什么？ 我们可能会下意识地回答：英语。 但事实真是如此吗？特别是对于那些能够处理多种语言的大语言模型（LLM）来说，这个问题就变得更加复杂了。 为了深入探讨这一问题，瑞士洛桑联邦理工学院（EPFL）的研究人员开展了一项研究，并发表了以下这篇论文： 论文地址： https://arxiv.org/pdf/2402.10588 项目地址： https://github.com/epfl-dlab/llm-latent-language 作者以Llama2为对象，向我们展示了具有多语言能力的Transformer，是如何思考问题的。 像「羊驼」这种在英语区下长大的娃，他的「多语言」到底是本质属性，还是仅仅套了 ………………………………