LLM的「母语」是什么？

文章预览

来源 | 新智元  ID | AI-era 大语言模型的「母语」是什么？ 我们的第一反应很可能是：英语。 但事实果真如此吗？尤其是对于能够听说读写多种语言的LLM来说。 对此，来自EPFL（洛桑联邦理工学院）的研究人员发表了下面这篇工作来一探究竟： 论文地址：https://arxiv.org/pdf/2402.10588 项目地址：https://github.com/epfl-dlab/llm-latent-language 作者以Llama2为对象，向我们展示了具有多语言能力的Transformer，是如何思考问题的。 像「羊驼」这种在英语区下长大的娃，他的「多语言」到底是本质属性，还是仅仅套了个翻译的壳？ 这对于人们理解LLM的运行机制至关重要。 要探究大模型的内心世界，虽然听起来有点复杂，但实际上一点也不简单。 研究人员在这里化繁为简，使用特定的提示来保证输出的唯一性，同时把Llama-2-7B的32层输出全部提取出来——一层一层一层的剥 ………………………………