对话大模型的跨语言迁移

文章预览

【本工作由南大 NLP 实验室与华为翻译中心合作完成， 论文链接： https://arxiv.org/abs/2405.13923， 代码 & 数据： https://github.com/hy5468/TransLLM】 LLM 在低资源语言上对话能力不足、安全性差，那么如何将一个经过 RLHF 训练的 chat LLM 迁移到低资源语言上呢？以往工作关注于迁移 base LLM ，在迁移同时或之后进行指令微调，因此指令微调注入的对话知识不会被迁移所影响。而 chat LLM 的对话和安全相关知识已经融入到模型参数中，在无法获得相关标注数据的情况下，进一步的迁移训练有可能会导致灾难性遗忘，反而表现不出对话和安全方面的能力。本工作中，我们提出了 TransLLM 框架（ Figure2 ）。 TransLLM 将迁移问题建模为翻译思维链 (TCOT) ，通过翻译任务桥接高资源和低资源语言，同时利用开源数据增强模型的基础能力，从而有效迁移对话能力。为了缓解灾难性 ………………………………