2024-20 从语言模型和上下文谈起

文章预览

语言模型本质是一个条件概率模型，刻画的是给定上文的时候下一个token的概率分布P(token|上文)，上文和下文其实都是一串token，所以给定语言模型，我们可以计算P(下文|上文)，今天我们聊聊语言模型中的上下文。 上下文和语言中的相关性 语言是有一定结构的信息流，有内在的规律和pattern。语言的原生格式是离散单元组成的一维序列S={w(1), w(2), ..., w(n), w(n+1),...}，那么大部分规律都可以表示为有别于完全随机的一个条件概率分布P(s'|s), 其中s和s'是S的两个不相交子集。比如一段文章从中分成两部分，那么前面这部分可以作为s，后面剩下的就是s'。另一个分割方式是s和s'的元素混在一起，这两种不同的选择s和s'的方式对应了GPT和BERT。 如果我们把对自然语言进行建模理解为学习各种语言规律对应的条件概率的问题，就可以理解RNN和GPT在问题的表述上一 ………………………………