文章预览
没想到，「开源版」GPT-4o这么快就来了！ 昨夜，来自法国AI实验室kyutai放出首个实时原生多模态Moshi，效果演示堪比5月发布的GPT-4o。比如下面这个demo中，Moshi作为助手帮助Alexa小哥踏上太空之旅，让人一秒幻视流浪地球中的Moss。 ，时长02:52 值得一提的是，这是8人团队仅用了半年的时间，从头完成了模型的训练。 Moshi还处在实验原型阶段，设计初衷是为了理解和表达情感，能够支持听、说、看，可以用70种不同情绪和风格说话，甚至随时打断。它最为突出的一个能力是，能够同时处理两个音频流，即「听」和「说」是同时进行的。这种实时互动的实现，是基于文本和音频混合的联合预训练，用Helium中合成的文本数据，训出的70亿参数的模型。Moshi可以实现最低160ms端到端延迟。而且，最小版本的Moshi还可以在笔记本电脑，或者消费级GPU上可跑。 许多人
………………………………
