【NLP笔记】文本向量化

文章预览

向AI转型的程序员都关注公众号 机器学习AI算法工程 实时语义分割ENet算法，提取书本/票据边缘 在自然语言处理中，文本向量化（Text Embedding）是很重要的一环，是将文本数据转换成向量表示，包括词、句子、文档级别的文本，深度学习向量表征就是通过算法将数据转换成计算机可处理的数字化形式。 概念 从不同文本级别出发，文本向量化包含以下方法： 词级别向量化：将单个词汇转换成数值向量 独热编码（One-Hot Encoding）：为每个词分配一个唯一的二进制向量，其中只有一个位置是1，其余位置是0。 TF-IDF：通过统计词频和逆文档频率来生成词向量或文档向量。 N-gram：基于统计的n个连续词的频率来生成向量。 词嵌入（Word Embeddings）：如Word2Vec, GloVe, FastText等，将每个词映射到一个高维实数向量，这些向量在语义上是相关的。 句子向量化：将整个 ………………………………