N-gram生成式语言模型在中医药传承中也有大作用

文章预览

1 算法简介 自然语言处理（NLP）是人工智能领域中的一个重要研究方向，涉及许多任务，如文本分类、机器翻译和语言生成。在NLP中，N-Gram模型是一种常见的基础模型，用于对文本进行建模和预测。N-Gram模型是一种基于统计的语言模型，也是一种生成式模型，用于预测一个句子中下一个单词的概率，常用来做句子相似度比较、模糊查询、句子合理性、句子矫正等。 2 算法原理 N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。它基于一个简单的假设：当前单词出现的 ………………………………