字节提出开放多模态大模型LLaVA-OneVision，轻松玩转视觉任务迁移

文章预览

©PaperWeekly 原创 · 作者 | Chunyuan Li 单位 | 字节跳动 研究方向 | 大语言模型 LLaVA-OneVision（OV） 这是一个开放的多模态大模型，不仅在单图像、多图像和视频任务中表现出色，还通过任务迁移轻松解锁新的涌现能力（Emgerging Capabilities）。 论文链接： https://arxiv.org/abs/2408.03326 Blog链接： https://llava-vl.github.io/blog/ ▲ 在 LLaVA-OneVision 中的视觉表示策略是为每种场景分配相应的视觉令牌（Visual Tokens）数目。不同场景中 Visual Tokens 的最大数量被设计为相似，以确保平衡的视觉表示，从而支持跨场景能力的迁移。 优异表现 LLaVA-OneVision 提升了开源多模态大模型在单图像、多图像和视频任务中的最新性能！提供 0.5B、7B 和 72B 模型规模，可满足从边缘设备到云服务器的多样化性能与成本需求。 ▲ LLaVA-OneVision 与当前最先进的商业模型的性能对比 完全开源  公开 ………………………………