主要观点总结
文章介绍了关于机器之心AIxiv专栏的报道以及学术和技术内容的分享，包括投稿邮箱和投稿方式。文章还介绍了大语言模型中检索增强技术的现状和挑战，包括推理效率问题和准确率问题。然后介绍了一篇名为《Block-Attention for Efficient RAG》的论文，该论文提出了一种块状注意力机制（Block-Attention）来解决这些问题，并详细介绍了该机制的实现方法和实验结果。
关键观点总结
关键观点1: 机器之心AIxiv专栏是发布学术、技术内容的平台，过去数年接收了2000多篇内容，有效促进了学术交流与传播。
如果您有优秀的工作想要分享，可以通过投稿或者联系报道的方式参与。
关键观点2: 大语言模型中检索增强技术（RAG）的应用广泛，但存在推理效率低下和准确率问题。
RAG技术通过为语言模型注入特定领域知识增强其回复可信度，但实际应用中存在文档检索和整合的挑战。
关键观点3: 论文《Block-Attention for Efficient RAG》提出了一种块状注意力机制（Block-Attention）来解决RAG技术中的效率问题。
该机制通过分块独立编码检索到的文档，实现线上推理效率的有效提升，并能在保持模型准确率的同时提高响应速度。
关键观点4: 块状注意力机制的实现包括独立编码除最后一个block以外的所有blocks，为每个blocks重新计算位置编码，以及将所有blocks拼接在一起计算最后一个block的KV State。
为了模型的适应block-attention，需要对其进行微调，以达到与自注意力模型相似的准确率。
关键观点5: 块状注意力机制在实验中表现出了显著的效率提升，特别是在输入序列长度较长的情况下。
同时，该机制还具有潜力应用于其他工业场景。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 在工业场景中，往往会利用检索技术来为大语言模型添加一些来自外部数据库的知识文档，从而增强大语言模型的回复可信度。一般来说，RAG 被公认是最有效的为 LLM 注入特定领域知识的方式。 然而，RAG 也有其不足之处。通常来说，在实际应用中，为确保能召回包含正确知识的文档，对于每个用户的查询，会检索多个文档（一般在 5 到 30 个之间），并把这些文档整合到输入提示中供大语言模型处理。这样一来，输入提示的序列长度增加，使得推理效率大幅降低。具体
………………………………
