专栏名称: AINLP

关注AI、NLP相关技术，关注算法研发职位和课程；回复"文章"获取历史信息；双语聊天机器人"无名"；中英翻译请输入：翻译翻译内容；自动对联，请输入：上联上联内容；调戏夸夸聊天机器人，请求夸、求赞；查询相似词，请输入: 相似词词条

我也要提交微信公众号

今天看啥

微信公众号rss订阅, 微信rss, 稳定的RSS源

微信公众号RSS订阅方法

B站投稿RSS订阅方法

雪球动态RSS订阅方法

微博RSS订阅方法

微博搜索关键词订阅方法

豆瓣日记 RSS订阅方法

对话语音合成大模型GPT-Talker: Generative Expressive CSS

AINLP · 公众号 · · 2024-11-20 10:03

文章预览

本次分享由内蒙古大学刘瑞研究员与字节跳动青年科学家任意、香港中文大学(深圳)李海洲教授合作发表于 ACMMM2024 的对话语音合成大模型工作GPT-Talker《 Generative Expressive Conversational Speech Synthesis 》。 1️⃣ 基于GPT 大模型架构和VITS 合成器提出了可以理解多模态对话上下文的对话语音合成大模型 GPT-Talker。另外，我们探索了三阶段的训练策略，主客观实验证明了方法和模型的有效性。 2️⃣ 该工作构建了一个包含 236个小时的自然对话语音数据集NCSSD，包含录制和爬取两个子集，并且包含中英双语。欢迎关注项目相关网址: 📍 GPT-Talker github: https://github.com/walker-hyf/GPT-Talker (或者 https://github.com/AI-S2-Lab/GPT-Talker) 📍 NCSSD github: (包含数据处理Pipeline) https://github.com/walker-hyf/NCSSD (或者 https://github.com/AI-S2-Lab/NCSSD) 📍 NCSSD Hugging Face: https://huggingface.co/data ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博