专栏名称: 机器学习实验室
专注于机器学习和深度学习技术与实践。
今天看啥  ›  专栏  ›  机器学习实验室

两张3090复现SearchGPT!

机器学习实验室  · 公众号  · 科技自媒体  · 2024-11-13 16:36
    

主要观点总结

文章介绍了OpenAI推出的SearchGPT之后,港中文MMLab、上海AI Lab、腾讯团队实现的Vision Search Assistant(VSA)。VSA以视觉语言模型(VLM)为基础,融合了Web搜索能力。它能够处理未见过的图像和新概念,将多模态研究推向新的高度。文章还详细描述了VSA的处理流程,包括视觉内容描述、Web知识搜索和协同生成等。实验结果显示,VSA在开放集问答评估中表现出色,优于其他模型。最后,文章提供了论文、主页和代码的链接。

关键观点总结

关键观点1: VSA以视觉语言模型为基础,融合了Web搜索能力。

VSA能够处理未见过的图像和新概念,将多模态研究推向新的高度。

关键观点2: VSA的处理流程包括视觉内容描述、Web知识搜索和协同生成。

通过开放域的检测模型获取图像中值得关注的区域,利用VLM获取对象级的文本描述,并通过“搜索链”的迭代算法获取与视觉内容相关的Web知识。

关键观点3: VSA在开放集问答评估中表现出色。

与Perplexity.ai Pro和GPT-4-Web相比,VSA在事实性、相关性和支持性三个关键维度上得分更高。此外,在封闭集问答评估中,Vision Search Assistant也表现出最强的性能。


文章预览

来源:VSA团队  转自:量子位 OpenAI推出SearchGPT没几天,开源版本也来了。 港中文MMLab、上海AI Lab、腾讯团队简易实现了 Vision Search Assistant ,模型设计简单,只要 两张RTX3090 就可复现。 Vision Search Assistant(VSA)以视觉语言模型(VLM)为基础,巧妙地将Web搜索能力融入其中,让VLM内部的知识得到实时更新,使其更加灵活和智能。 目前,VSA已经针对通用图像进行了实验,可视化和量化结果良好。但不同类别的图像各具特色,还可以针对不同种类的图像(比如表格、医学等)构建出更为特定的VSA应用。 更令人振奋的是,VSA的潜力并不仅限于图像处理。还有更广阔的可探索空间,比如视频、3D模型和声音等领域,期待能将多模态研究推向新的高度。 让VLM处理未见过的图像和新概念 大型语言模型(LLM)的出现让人类可以利用模型的强大零样本问答能力来获 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览