tokenizer简述

文章预览

知乎 ：难赋 链接 ：https://zhuanlan.zhihu.com/p/721054525 简述 为了方便计算机处理文本，我们常把文本转化为数值的形式。具体操作是把文本分割成有意义的片段，再把这些片段映射为数组，就能够利用各种深度学习的技术来处理文本了。把文本分割成有意义的片段这一过程称为tokenize，片段称为token。我们可以发现，token是计算机处理文本的基本单位。 tokenize是一个复杂的问题，针对不同的情况出现了很多的算法。人力资源是非常昂贵的，程序员是一群喜欢自动化的人。因此我们在处理这个问题时首先回答了一个这样的问题：能否采用某种无监督的方式，通过某种算法将连续的文本自动地转化为token？ 回答完这个问题后，人们把tokenize的过程分为以下几个步骤： 把训练文本中的所有字符作为初始token 根据某种规则把联系紧密的token对合并为更高阶的token ………………………………