字符串相似度算法完全指南：编辑、令牌与序列三类算法的全面解析与深入分析

文章预览

来源：DeepHub IMBA 本文 约6000字 ，建议阅读 10+ 分钟 本文深入探讨了三个基本算法类别：基于编辑的算法、基于令牌的算法和基于序列的算法。 在自然语言处理领域，人们经常需要比较字符串，这些字符串可能是单词、句子、段落甚至是整个文档。如何快速判断两个单词或句子是否相似，或者相似度是好还是差。这类似于我们使用手机打错一个词，但手机会建议正确的词来修正它，那么这种如何判断字符串相似度呢？本文将详细介绍这个问题。 字符串相似度 当我们有两个数字时，我们可以通过从一个数字中减去另一个数字并观察结果的符号和大小来轻松比较它们。这种比较方式也可以用于向量，并且有许多方法可以做到这一点。例如常见的：余弦距离、欧几里得距离、曼哈顿距离、闵可夫斯基公式的p距离等等 但是对于字符串来说就比较复杂了， ………………………………