ECCV2024 | 上交推出 PosFormer！优化位置识别任务来辅助表达式识别，复杂公式识别能力再创新SOTA！

文章预览

关注公众号，发现CV技术之美 本文简要介绍被ECCV 2024录用的论文 PosFormer: Recognizing Complex Handwritten Mathematical Expressions with Position Forest Transformer ，上交推出 PosFormer！优化位置识别任务来辅助表达式识别，复杂公式识别能力再创新SOTA！ 论文地址：https://arxiv.org/abs/2407.07764 代码地址：https://github.com/SJTU-DeepVisionLab/PosFormer 1. 引言 手写数学表达式作为语言和符号之间的桥梁，在数学、物理和化学等领域中很常见。相应的任务，即手写数学表达式识别（HMER），旨在准确地将表达式图像转换为 LaTeX 序列。这个任务在在线教育、手稿数字化和自动评分等人机交互场景中有广泛应用。近期，我们注意到 多模态大语言模型 在文本图像领域具有泛化性高的性能，但是大多数大模型在手写数学表达式识别上还不够理想参考MultimodalOCR，如下图红框所示： 这说明当前识别 ………………………………