专栏名称: 极市平台
极市平台是由深圳极视角推出的专业的视觉算法开发与分发平台,为视觉开发者提供多领域实景训练数据库等开发工具和规模化销售渠道。本公众号将会分享视觉相关的技术资讯,行业动态,在线分享信息,线下活动等。 网站: http://cvmart.net/
今天看啥  ›  专栏  ›  极市平台

NeurIPS 2024|字节联合华师提出统一的多模态文字理解与生成大模型

极市平台  · 公众号  ·  · 2024-10-30 22:00
    

文章预览

↑ 点击 蓝字  关注极市平台 作者丨PaperWeekly 来源丨PaperWeekly 编辑丨极市平台 极市导读   字节跳动与华东师范大学联合提出的TextHarmony模型,这是一个统一的多模态文字理解与生成大模型,它通过创新的Slide-LoRA技术和两阶段训练方法,有效地解决了多模态生成中的模态不一致问题,并在视觉文本感知、理解、生成和编辑方面展现出卓越性能。   >> 加入极市CV技术交流群,走在计算机视觉的最前沿 01 研究背景与挑战 在人工智能领域,赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前,视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现了统一,但在 OCR 领域的多数任务上仍难以达成全面整合。 例如,Monkey 等视觉语言模型(VLM)擅长文字检测、识别和视觉问答(VQA)等文本模态生成任 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览