让大模型更懂你的情绪——通义实验室与中科院自动化所联合开源中英双语共情语音对话模型BLSP-Emo

文章预览

GPT-4o的亮相不仅揭示了端到端多模态模型在减少响应时间上的巨大潜力，更向我们展现了其在理解与生成富有深度情感的语音内容方面的卓越能力。尽管此技术的具体细节尚未向研究界全面公开，但其背后可能投入的海量数据和巨量计算资源都是难以轻易获得的宝贵资源。但是，通义实验室和中科院自动化所联合开源中英双语共情语音对话模型BLSP-Emo给我们提供了一个可能的实现方案。 在这项工作中，作者提出了一种创新性的内容情感对齐方法—— BLSP-Emo （ B ootstrapped  L anguage- S peech  P retraining with  E mo tion support），该方法旨在赋予大语言模型理解语音输入中的语义与情感，并生成共情回复的能力。BLSP-Emo通过两阶段的对齐训练利用现有的语音识别（ASR）和语音情感识别（SER）数据，将语音中的语言信息和副语言情感信号有效对齐至大语言模型的 ………………………………