语言模型之text embedding（Decoder_only篇）

文章预览

提纲 1 简介 2 任务介绍 3 decoder-only     3.1 模型基底优化     3.2 注意力机制优化     3.3 Pooling方式调整     3.4 训练数据优化     3.5 训练方式优化 4 encoder-only 5 讨论 ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ 参考文献 1 简介     在大概一年前的时候写过一篇text embedding的总结性文章 语言模型之text embedding（思考篇） ，对当时出现的text embedding模型做了归纳跟讨论（无论是encoder-only还是decoder_only）。在接下来的一年时间里，text embedding模型的发展可谓迅速，该领域最权威的benchmark MTEB的榜一频繁易主，我这一年间也陆续写了10篇相关的文章介绍各种新模型或者方法，所以在这里将这一年所看到的工作再做些总结。     对该领域有兴趣的朋友，推荐看这篇文章之前先按顺序阅读另外两篇文章，效果更佳。 ‍‍‍‍‍‍‍‍‍‍‍ Bert系列之句向量生成 语 ………………………………