OpenAI最新套娃嵌入模型分析：256维的MTEB效果超过1536维

文章预览

一月份，OpenAI发布了两种新的嵌入模型：text-embedding-3-small和text-embedding-3-large。这些模型采用套娃表示学习技术（MRL：Matryoshka Representation Learning）进行训练，这使得开发者可以在嵌入中权衡性能和成本。 什么事套娃表示学习？ 套娃表示学习是一种用于训练嵌入模型的技术。它允许在牺牲少量准确性的情况下换取更小的嵌入尺寸。因此，可以以更低的成本存储更多的信息，并更快地搜索它。 嵌入通过从序列末尾移除维度，并且只使用嵌入向量的子集维度来缩短。例如，你可以只使用原本具有1536维度向量的前8、16、32等维度（或任何其他维度的切片）。 与常见的向量嵌入不同，其中所有维度都同等重要，在套娃嵌入中，向量前面的维度存储的信息比后面的维度更多，后者只是添加了更多细节。可以通过尝试在多个分辨率下对图像进行分类的类比来理 ………………………………