千问LLM：LLM的解码都有哪些方式?

文章预览

千问LLM之三十一： LLM的解码都有哪些方式? “ 人生也有多个解法，轻松是一个活法，累死也是一个活法，不求人人都是一样的人生，但人人都做最有意义的事情。 ” 上次博文介绍了  千问LLM之三十：什么是Postion Encoding?  Position Encoding让Transformer的架构感知到输入的顺序不同。 如果我在训练的LLM的时候，已经用尽了我毕生所学，那么在LLM做推理的时候，我还能做一些什么，让LLM起飞🛫吗？有的，但我们需要了解LLM的解码， 希望你读完这一篇以后就不需要再读关于LLM解码的内容了 。   01 — 什么是解码？ 所谓 解码 就是LLM的模型 预测 下一个 token 的过程。以如下的代码为例，给出输入 input_ids 获取outputs，其中 outputs 的shape为： (batch_size, sequence_length, vocab_size) outputs=model(                 input_ids=input_ids,                 attention_mask=attention_mask,     ………………………………