NeurIPS2024 | OCR-Omni来了！字节&华师提出统一的多模态生成模型TextHarmony。

文章预览

在人工智能领域，赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前，视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现了统一，但在 OCR 领域的多数任务上仍难以达成全面整合。 字节 & 华师提出统一的多模态生成模型TextHarmony：能够熟练地理解和生成视觉文本 图 (a) 说明了不同类型的图像文本生成模型：视觉文本理解模型只能生成文本，视觉文本生成模型只能生成图像，而 TextHarmony 可以生成文本和图像。图 (b) 说明了 TextHarmony 在为各种以文本为中心的任务生成不同模态方面的多功能性。 unset unset 相关链接 unset unset 论文链接: https://arxiv.org/abs/2407.16364 代码开源: https://github.com/bytedance/TextHarmony unset unset 论文阅读 unset unset unset unset 摘要 unset unset 在这项工作中，我们提出了 TextHarmony，这 ………………………………