8人半年肝出开源版GPT-4o，0延迟演示全网沸腾！背后技术揭秘，人人免费用

文章预览

大模型智能｜分享 来源 | 新智元 编辑 | 桃子 乔杨 没想到，「开源版」GPT-4o这么快就来了！ 昨夜，来自法国AI实验室kyutai放出首个实时原生多模态Moshi，效果演示堪比5月发布的GPT-4o。 比如下面这个demo中，Moshi作为助手帮助Alexa小哥踏上太空之旅，让人一秒幻视流浪地球中的Moss。 值得一提的是，这是8人团队仅用了半年的时间，从头完成了模型的训练。 Moshi还处在实验原型阶段，设计初衷是为了理解和表达情感，能够支持听、说、看，可以用70种不同情绪和风格说话，甚至随时打断。 它最为突出的一个能力是，能够同时处理两个音频流，即「听」和「说」是同时进行的。 这种实时互动的实现，是基于文本和音频混合的联合预训练，用Helium中合成的文本数据，训出的70亿参数的模型。 Moshi可以实现最低160ms端到端延迟。 而且，最小版本的Moshi还可以在 ………………………………