o1正式版还没上线，但是多模态o1模型LLaVA-o1已经来了！

主要观点总结

文章介绍了清华等国内研究机构推出的多模态模型LLaVA-o1，它是一个新颖的视觉-语言模型，旨在进行自主的多阶段推理。文章详细阐述了LLaVA-o1的四个结构化推理阶段，及其与基础模型Llama-3.2-11B-Vision-Instruct的区别。文章还介绍了LLaVA-o1的训练方法、推理时间扩展方法和实验对比结果。

关键观点总结

关键观点1: LLaVA-o1是一个自主的多阶段推理的视觉-语言模型。

LLaVA-o1能够进行结构化的输出，分为摘要、视觉解释、逻辑推理和结论生成四个阶段，这在推理密集型任务上性能显著提升。

关键观点2: LLaVA-o1使用100k结构化数据训练，采用专用标签来标记每个阶段。

数据合成流程包括通用视觉问答（VQA）数据集和针对科学的视觉问答（VQA）数据集，然后使用Llama-3.2-11BVision-Instruct模型作为基础模型进行全参数微调。

关键观点3: LLaVA-o1采用推理时间扩展方法增强模型的推理能力。

使用Stage-level Beam Search在推理阶段选择最佳回答，这是一种简单但有效的方法，通过增大N值可以提高模型的性能。

关键观点4: LLaVA-o1的性能超越了某些商业模型。

实验结果表明，LLaVA-o1的性能优于Gemini-1.5-pro、GPT-4o-mini等模型，这得益于其结构化数据和推理时间扩展方法。

免责声明