文档智能前沿进展：符合人类阅读顺序的文档模型-LayoutReader及非官方权重开源

文章预览

今天我们来看看阅读顺序的工作。 阅读顺序检测旨在捕获人类读者能够自然理解的单词序列。现有的OCR引擎通常按照从上到下、从左到右的方式排列识别到的文本行，但这并不适用于某些文档类型，如多栏模板、表格等。 LayoutReader模型使用seq2seq模型捕获文本和布局信息，用于阅读顺序预测，在实验中表现出色，并显著提高了开源和商业OCR引擎在文本行排序方面的表现。 一、LayoutReader模型 1.1 编码器(Encoder) LayoutReader使用LayoutLM的布局模型作为编码器。在编码阶段，LayoutReader将源序列和目标序列打包成一个连续的输入序列，并设计了自注意力掩码来控制token之间的可见性。具体来说，LayoutReader允许源序列中的标记相互关注，同时阻止目标序列中的标记关注右侧上下文。 自注意力掩码 的设计： 其中， 和 是打包输入序列中的索引，可能来自源或目标 ………………………………