文章预览
统计语言模型 统计语言模型通过概率分布的形式来描述任意语句（字符串）s属于某种语言集合的可能性。 给定一个句子W（由多个单词w1, w2, w3,...组成），统计语言模型的目标是计算该句子在文本中出现的概率P(W) ，即P(W) = P(w1, w2, w3,..., wn)。这一概率的计算通常基于统计学方法，如最大熵模型、N-gram模型等。 统计语言模型 一、 语言模型发展历程 语言模型（LM， Language Model ）的发展历程可以清晰地划分为三个主要阶段： 统计语言模型、神经网络语言模型以及基于Transformer的大语言模型 。每个阶段的模型都在前一个阶段的基础上进行了改进和优化，使得语言模型的性能得到了显著提升。 语言模型的发展历程 一文彻底搞懂大模型 - 语言模型的发展历程 二、 最大熵模型 图灵奖 vs 香农奖： 图灵奖和香农奖都是计算机科学和信息论领域的重要奖项，它
………………………………
