哈工深、NUS等联合提出全新信息抽取基准任务：细粒度定位的统一多模态信息抽取

主要观点总结

文章介绍了一个新的信息抽取任务：细粒度定位的统一多模态信息抽取（grounded MUIE），以及相关的模型和实验。该任务旨在将三种信息抽取子任务（命名实体识别、关系抽取和事件抽取）在四种典型的模态（文本、图片、视频和音频）下统一起来，同时实现细粒度的跨模态目标定位。文章还介绍了提出的REAMO多模态大模型和相关实验分析结果。

关键观点总结

关键观点1: 新的信息抽取任务：细粒度定位的统一多模态信息抽取（grounded MUIE）

文章首次提出了一个新的信息抽取任务，旨在将多种信息抽取子任务在多种模态下统一起来，实现细粒度的跨模态目标定位。

关键观点2: REAMO多模态大模型

为了完成新的信息抽取任务，文章提出了一个配套的REAMO多模态大模型，该模型由多模态编码器、LLM推理器和细粒度定位MUIE解码器组成。

关键观点3: 实验与分析

文章进行了多种实验来验证模型和任务的有效性，包括zero-shot MUIE实验结果、模态对齐与非对齐的对比实验、实体数量的影响等。

文章预览

信息抽取是 NLP 领域长久以来最经典的研究方向之一。 信息抽取的研究经历过了多模态抽取阶段，以及大一统的抽取阶段。 在大语言模型和多模态时代，信息抽取的发展何去何从，目前社区仍在积极探索中。 近期，由哈工深和新加坡国立大学等团队联合提出一项 全新的信息抽取基准任务：细粒度定位的统一多模态信息抽取 grounded MUIE ，将三种信息抽取子任务（命名实体识别、关系抽取和事件抽取）在四种典型的模态（文本、图片、视频和音频）下统一起来，同时实现细粒度的跨模态目标定位。 为了实现 MUIE 任务，作者设计了一个 多模态大模型 REAMO ，实现 UIE 任务的多种模态，一次识别。同时构建了一个 MUIE 基准测试集以评估任务表现。该工作将会为下一阶段的信息抽取奠定一个重要基石。目前该工作被录用到 ACL 2024 (Finding)。 论文标题： Recogniz ………………………………