浙江大学发布全能多模态大模型OmniBind，刷榜13大benchmark

文章预览

 夕小瑶科技说 原创  作者 | Richard 在人工智能快速发展的今天，多模态大模型成为了研究的热点。近日，浙江大学的研究团队在这一领域取得了重大突破，发布了名为OmniBind的全能多模态大模型。这个模型不仅支持3D、音频、图像和文本等多种模态的输入，还在13个主要评测基准上取得了领先成绩，展现出了强大的综合能力。 OmniBind的创新之处在于它采用了"空间绑定"的方法，巧妙地整合了14个现有的专业模型的知识，使得模型参数规模达到了70亿到300亿不等。研究团队还设计了独特的权重路由策略，有效地融合了不同来源的知识。这种方法不仅大大提高了模型的性能，还极大地降低了训练成本。 值得注意的是，OmniBind展现出了多项新颖的应用可能，包括跨模态检索、目标定位和音频分离等。这些成果为多模态人工智能的未来发展开辟了新的方向 ………………………………