【他山之石】Big Model Weekly | 每周最新大模型论文精读分享！

文章预览

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！ 01 DocLayLLM: An Efficient and Effective Multi-modal Extension of Large Language Models for Text-rich Document Understanding 文本丰富文档理解（TDU）是指对包含大量文本内容的文档进行分析和理解。随着大型语言模型（LLMs）的快速发展，它们因其显著的多功能性和广泛的泛化能力而被广泛应用于TDU。本文介绍了一种名为DocLayLLM的高效多模态LLM扩展，专门为TDU设计。通过将视觉补丁token和二维位置token整合到LLM中，并利用LLM自身对文档内容进行编码，充分发挥了LLM的文档理解能力，并增强了它们对OCR信息的感知。本 ………………………………