大模型如何生成下一个token--解码策略

文章预览

Background 生成模型目前主要使用自回归（Autoregressive）模型，通过上文信息预测下文信息，如GPT系列； BERT系列使用自编码（AutoEncode）模型，在输入中随机mask一部分token，通过上下文预测这个token； 自回归主要用于生成文本，如机器翻译和对话系统，而自编码主要用于降维和特征提取，如情感分析、聚类和分类等任务。 自回归模型当生成文本时，并不是同时生成一段文字，而是一个字一个字的去生成，同时新生成的字会继续加入上文，用于生成下一个字。 在自回归架构中，模型针对输入内容逐个token生成输出内容的文本。这个过程一般被称为 解码 。 在本章的内容中，我们将首先介绍常见的解码策略 解码策略 我们可以将模型预测的结果看作一个向量，这个向量的长度是vocab size，其中每个位置的大小表示选取这个token的概率，如何基于这个信息选择 ………………………………