LLM Decode不需要Beam Search——理解LLM输出的序列空间

文章预览

TLDR 输出序列的序列总概率的性质并非我们所想，对于区分语义的可靠性几乎没用，beam search在此场景也没有用。 1、回顾 LLM 的 Decode 1.1、贪心解码 LLM是一种语言模型，在将序列映射到token层面后建模条件概率，也就是建模下一个token的条件概率。既然是一种局部的概率生成模型，那么就可以对其能够输出的整个空间做探索，最简单和常用的方式就是每次贪心的选择概率最大的一个token来逐步探索，这也被称作贪心解码或者temperature=0。 但相对于其他领域来说，LLM的应用中对于贪心解码的使用倾向要弱很多，目前主要使用的场景大致有： 【R1】Benchmark中 【R2】希望输出无随机性的场景中，（虽然现在不少API不保证也无法实现这点） 【R3】希望通过通过倾向于更高概率token来提升结果的准确性。 而我对以上几种使用方式都颇有微词。R2的问题我之前在  2 ………………………………