小互AI日报：复旦大学开发出类似GPT 4o的端到端语音对话模型、Udio V1.5版中文音乐提升、Bing推出生成式搜索...

文章预览

🌧 Hi~ 欢迎来到 7.26 的XiaoHu.AI 的日报！ ______________ 1、 SpeechGPT2：复旦大学开发的端到端语音对话语言模型 SpeechGPT2 是由复旦大学计算机学院开发的一个端到端的语音对话语言模型，类似于 GPT-4。它能够感知和表达情感，并根据上下文和人类指令提供多种风格的语音响应，如说唱、戏剧、机器人、搞笑和低语等。为了处理冗长的语音序列，SpeechGPT2 使用了一种超低比特率的语音编解码器 (750bps)，能够建模语义和声学信息。 预训练数据包括超过 10 万小时的学术和野外收集的语音数据，这些数据涵盖了丰富的语音场景和风格。 该模型使用多输入多输出语言模型 (MIMO-LM)，目前仍为轮流对话系统。团队正在开发实时全双工版本并已取得一些进展。 SpeechGPT2 是在有限资源下的技术探索，由于计算和数据资源的限制，它在语音理解的噪声鲁棒性和语音生成的 ………………………………