实测！最新端侧全模态大模型Megrez-3B-Omni

文章预览

大家好，我是刘聪NLP。 中午看到无问芯穹开源了一个端侧全模态大模型-Megrez-3B-Omni，马上来测测看，效果如何。 Github: https://github.com/infinigence/Infini-Megrez HF: https://huggingface.co/Infinigence/Megrez-3B-Omni Demo: https://huggingface.co/spaces/Infinigence/Megrez-3B-Omni 先说点题外话，大模型发展到现在，虽说参数越大，模型越智能，但毕竟现在GPU资源还是蛮紧张的，太大的模型消耗资源太多，并发起来的时候，根本烧不起，真正坐落地的懂得都懂。当然现在也是越来越多的人来搞SLMs（small language models），像千问最新的Qwen2.5系列也是开源了0.5B、1.5B、3B模型，面壁前端时间也是开源了MiniCPM3-4B模型，微软的Phi系列模型也是一直在更新。 这也是AI现在冲突的点吧，模型越大越智能，模型越小越容易落地。 一个全模态的端侧模型，相当于一个模型干3个事情，可以极大减少部署 ………………………………