【AI前沿】LLM的「母语」是什么？

文章预览

【导读】 在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。 大语言模型的「母语」是什么？ 我们的第一反应很可能是：英语。 但事实果真如此吗？尤其是对于能够听说读写多种语言的LLM来说。 对此，来自EPFL（洛桑联邦理工学院）的研究人员发表了下面这篇工作来一探究竟： 论文地址：https://arxiv.org/pdf/2402.10588 项目地址：https://github.com/epfl-dlab/llm-latent-language 作者以Llama2为对象，向我们展示了具有多语言能力的Transformer，是如何思考问题的。 像「羊驼」这种在英语区下长大的娃，他的「多语言」到底是本质属性，还是仅仅套了个翻译的壳？ 这对于人们理解LLM的运行机制至关重要。 要探究大模型的内心世界，虽然听起来有点复杂，但实际上一点也不简单。 研究人员 ………………………………