专栏名称: CVHub
门头沟学院AI视觉实验室御用公众号 | 学术 | 科研 | 就业
今天看啥  ›  专栏  ›  CVHub

NeurIPS 2024 | TextHarmony: 基于统一架构的视觉文本理解与生成模型

CVHub  · 公众号  ·  · 2024-10-28 12:00
    

文章预览

论文标题 :Harmonizing Visual Text Comprehension and Generation 论文地址 :https://arxiv.org/abs/2407.16364 论文源码 :https://github.com/bytedance/TextHarmony 引言 在人工智能领域,赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前,视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现了统一,但在 OCR 领域的多数任务上仍难以达成全面整合。 例如, Monkey 等视觉语言模型(VLM)擅长文字检测、识别和视觉问答(VQA)等文本模态生成任务,却无法胜任文字图像的生成、抹除和编辑等图像模态生成任务。 反之,以 AnyText 为代表的基于扩散模型的图像生成模型则专注于图像创建。因此,OCR 领域亟需一个能够统一多模态生成的大模型 关键问题 多模态生成的内在矛盾 研究人员发现,多模态生成大模型面临视觉与语 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览