百度NLP | 神经网络语义匹配技术

文章预览

百度NLP专栏 作者：百度NLP 一、序言 文本匹配是自然语言处理中一个重要的基础问题，自然语言处理中的许多任务都可以抽象为文本匹配任务。例如网页搜索可抽象为网页同用户搜索 Query 的一个相关性匹配问题，自动问答可抽象为候选答案与问题的满足度匹配问题，文本去重可以抽象为文本与文本的相似度匹配问题。 传统的文本匹配技术如信息检索中的向量空间模型 VSM、BM25 等算法，主要解决词汇层面的匹配问题，或者说词汇层面的相似度问题。而实际上，基于词汇重合度的匹配算法有很大的局限性，原因包括：  1）语言的多义同义问题 相同的词在不同语境下，可以表达不同的语义，例如「苹果」既表示水果，也表示一家科技公司。同理，相同的语义也可由 ………………………………