实践教程｜Transformer Decoder-Only 模型批量生成 Trick

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Andy 来源丨安迪的写作间 编辑丨极市平台 极市导读   本文给出了一个用单 Transformer decoder（ GPT）模型进行批量生成时的解决方法。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 发现用单 Transformer decoder （Aka GPT）模型进行生成时，因为位置对齐等问题，进行批量生成时十分麻烦。 训练时，context 和 target 可以直接拼一起，然后一个 Batch 内通过裁剪或 Padding 到相同长度来进行批量训练。但生成时，只有 context，每个长度还不同，如果 Padding 到相同长度，直接进行生成的话，会让 生成阶段和训练阶段有巨大 gap ，导致生成不了好的结果。 解决问题的最好方法就是——不解决问题。直接一条条输出吧。 但如果不批量生成，模型小数据少时还好，站起来喝杯水撒泡尿时间就差不多了。但模型一大且数据量一大， ………………………………