SFR-Embedding-Mistral: 都来看看吧，大佬们把炼丹秘籍都坦白了。

文章预览

提纲 ‍ ‍ ‍ ‍ ‍ ‍ 1 简介 2 炼丹技巧     2.1 Multi-task training     2.2 Task-Homogenous Batching     2.3 Impact of Hard negative ‍ ‍ ‍ 3 讨论 ‍ ‍ ‍ ‍ 参考文献 1 简介     SFR-Embedding-Mistral是目前MTEB榜单非常靠前的模型，之前考虑到 相关介绍也只有一个偏技术报告的博客， 没有太多模型结构或者训练方法上的革新，所以不打算展开细说，但是最近MTEB出现了一个新的模型Linq-Embed-Mistral，跟 SFR-Embedding-Mistral在训练技巧上存在诸多一致性，所以决定在这里展开介绍下 SFR-Embedding-Mistral的技术报告，有实操需求的朋友们可以多看看原本博客，干货很多。 ‍‍‍‍ ‍‍‍‍ 2 炼丹技巧 2.1 Multi-task training     研究人员发现当模型接触过聚类任务后，检索性能会得到实质性地提高，并且其有效性可以通过别的任务的知识迁移而得到进一步提高。 此外，通过 ………………………………