R1-Omni开源！全模态模型+RLVR，让各模态作用清晰可见

文章预览

随着DeepSeek R1的推出，强化学习在大模型领域的潜力被进一步挖掘。Reinforcement Learning with Verifiable Reward (RLVR) 方法的出现，为多模态任务提供了全新的优化思路，无论是几何推理、视觉计数，还是经典图像分类和物体检测任务，RLVR都展现出了显著优于传统监督微调（SFT）的效果。 然而，现有研究多聚焦于Image-Text多模态任务，尚未涉足更复杂的全模态场景。基于此，通义实验室团队探索了RLVR与视频全模态模型的结合，并提出了 R1-Omni模型。 论文： https://arxiv.org/abs/2503.05379 Github： https://github.com/HumanMLLM/R1-Omni 模型： https://www.modelscope.cn/models/iic/R1-Omni-0.5B 模型介绍 模型训练的两个阶段 冷启动阶段：奠定基础推理能力 为了保证RLVR阶段训练的平稳性，该团队使用一个组合数据集进行微调，使其初步 掌握多模态情感识别任务中的推理能力 。该组合数据集 ………………………………