ACL2024 & & 蚂蚁 | 提出D2LLM：将因果LLM 魔改成向量搜索模型，推理提升6.45%

文章预览

点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 引言 语义搜索任务要求模型既准确又高效地找到与查询相关的语句。本文作者通过分析BERT双编码器和GPT风格交叉编码器的优缺点，提出了一种用于语义搜索的分解和蒸馏语言模型D2LLM，简单来说， 「D2LLM通过分解交叉编码器和集成多头注意力池化模块提高效率」 ，并通过交互模拟模块理解语义关系。通过对比、排序和特征模仿技术，将LLM的知识转移到D2LLM中。结果显示D2LLM在三项任务上超越了五个基准模型，尤其在自然语言 「推理任务中性能提升了6.45%以上」 。 论文：https://arxiv.org/pdf/2406.17262 代码：https://github.com/codefuse-ai/D2LLM 「注」 本文源于 蚂蚁集团与华东师范大学的校企合作项目，目前已被ACL 2024 main会议接收 。ACL（Association for Computational Linguistics）会议是自然语言处理领域的顶级 ………………………………