OpenAI-O1慢思考模式后的跟进：LLaVA-o1及OmniSearch多模态QA范式

文章预览

今天是2024年11月20日，星期三，北京，天气晴。 今天，换个话题，谈谈最近的趋势。 OpenAI-O1慢思考后带来了一批新工作，自从OpenAI-O1慢思考出来后，给定一个大的问题，通过问题拆解，然后逐步求解，最终完成的范式成为大家模仿的一种范式，而其又与Agent强关联，所以Agent跟慢思考一结合，很多剧本就有了。 而与其最相关的，其实是多模态的场景，这里讲两个，一个是ominisearch，一个是LLaVA-o1 我们可以从中找到一些思路。 一、先看OmniSearch的混合多模态QA思路 OmniSearch，现在又个现象很有趣，大家都喜欢用omni，例如omniparser，原因在于'omni'是一个词根，表示“全部、全面、普遍的”的意思，通常用来构成一些复合词或缩写词，如omniscient无所不知的，博识的、omnipotent全能的，万能的、omnivore：杂食动物，广食性动物、omnibus：大巴车，综合性的。 《Omn ………………………………