NLP中的词向量对比：word2vec\/glove\/fastText\/elmo\/GPT\/bert

文章预览

作者：JayLou ，NLP算法工程师 知乎专栏：高能NLP之路 本文已获授权，可点击文末"阅读原文"直达： https://zhuanlan.zhihu.com/p/56382372 本文以QA形式对自然语言处理中的词向量进行总结：包含word2vec/glove/fastText/elmo/bert。 目录 一、文本表示和各词向量间的对比  1、文本表示哪些方法？ 2、怎么从语言模型理解词向量？怎么理解分布式假设？ 3、传统的词向量有什么问题？怎么解决？各种词向量的特点是什么？ 4、word2vec和NNLM对比有什么区别？（word2vec vs NNLM） 5、word2vec和fastText对比有什么区别？（word2vec vs fastText） 6、glove和word2vec、 LSA对比有什么区别？（word2vec vs glove vs LSA） 7、 elmo、GPT、bert三者之间有什么区别？（elmo vs GPT vs bert） 二、深入解剖word2vec 1、word2vec的两种模型分别 ………………………………