NV-Embed: 不装了，NVIDIA亲自下场，发布自家embedding模型并成功登顶MTEB

文章预览

提纲 1 简介 ‍ ‍ ‍ ‍ 2 NV-Embed     2.1 模型结构     2.2 模型训练 3 实验结果 4 讨论 参考文献 ‍ ‍ 1 简介     上个月MTEB的榜首再次又换人了，NVIDIA亲自下场，发布了自己的embedding模型NV-Embed，成功占据榜首之位。芯片公司不好好做芯片，亲自下场做模型了，来给大家压力了。 ‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍     NV-Embed移除了Decoder-only模型结构中的单向mask机制，并添加了一个后置模块latent attention layer用于进一步提升embedding的表征能力，加上其特有的训练流程设计，最终在诸多评测任务上表现出色。 ‍‍‍‍‍‍‍‍‍‍ 图1：MTEB榜单截图 ‍ ‍ 2 NV-Embed ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ 2.1 模型结构 相比于传统的Decoder-only语言模型，NV-Embed做了以下几个调整。     a) 移除了单向mask机制，改单向注意力机制为 ………………………………