端到端多模态原生大模型思考

文章预览

 作者：孙思宁  链接：https://zhuanlan.zhihu.com/p/10078532866 最近闲了下来，有时间写一点自己关于端到端、多模态大模型，特别是语音端到端模型的看法。 GPT-4o的出现，把语音交互的体验推到了一个新的高度。作为语音从业者，我一方面很高兴，因为老板们觉得这个交互也太自然了，咱们也试试，估计会有用。心中窃喜，本来都要失业了，感谢OpenAI给我们充值续命！说白了，拔高了一般人对语音交互认知的上限。另一方面，我也很清楚的知道，这一波小热潮不会持续太久。大半年过去了，事实也是如此。一方面没有看到哪家做出来特别好的效果，即使宇宙厂投入很大力度，效果想必还未完美；体验了OpenAI的demo，大多数发现并不是向demo的那般强大，也是常有的；另一方面是老板们发现，就算做出来，对我的业务有什么收益？结合这一段时间的工作和思 ………………………………