NeurIPS2024 | OCR-Omni来了，字节&华师提出统一的多模态文字理解与生成大模型

文章预览

来源：我爱计算机视觉 本篇分享 NeurIPS 2024 论文 Harmonizing Visual Text Comprehension and Generation ，字节 & 华师提出统一的多模态文字理解与生成大模型。 论文链接: https://arxiv.org/abs/2407.16364 代码开源: https://github.com/bytedance/TextHarmony 研究背景与挑战 在人工智能领域，赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前，视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现了统一，但在 OCR 领域的多数任务上仍难以达成全面整合。 例如，Monkey 等视觉语言模型（VLM）擅长文字检测、识别和视觉问答（VQA）等文本模态生成任务，却无法胜任文字图像的生成、抹除和编辑等图像模态生成任务。反之，以 AnyText 为代表的基于扩散模型的图像生成模型则专注于图像创建。因此，OCR 领域亟需一个能够统一多模 ………………………………