Sentence-BERT实现文本匹配【分类目标函数】

文章预览

来源：投稿  作者：175 编辑：学姐 引言 从这篇文章开始进入文本系列的BERT预训练模型时代，本文实战Sentence-BERT提出的如何训练嵌入模型的方法。实现类似Huggingface的风格，不同方法的实现之间可能会有一些重复，但每个方法是独立的，降低了复杂性。 架构 我们首先来看的是这种孪生网络结构。如上图所示，句子A和句子B经过同一个预训练好的BERT模型，然后经过池化操作得到定长向量u和v，最后对这两个向量进行一些处理和拼接喂给一个分类层得到最终的输出——对应类别的logits。 可以用于有相似标签(1)和不相似标签(0)的数据集，判断给定的语句对是相似还是不相似的，作为一个分类任务。但在推理阶段，拿到这两个语句的句嵌入后，不需要真的经过Softmax分类器，而是直接计算句嵌入之间的余弦相似度即可。 实现 实现采用类似Huggingface的形式 ………………………………