BWArea Model: 决策视角下的可控语言生成

文章预览

知乎：j0229 链接：https://zhuanlan.zhihu.com/p/721464986 前言 在前段时间，在俞老师 @俞扬 的指导下，和鹏远师弟、子牛师兄 @李子牛 以及组内其他师弟一起做了可控语言模型方向上的探索[1]，也对我们所做的工作简单介绍一下。 随着语言模型的发展，大家对语言模型的要求也在不断提高，希望大语言模型去完成更加复杂和精确的任务。这意味着对于某个指令，我们希望模型输出与期望内容相比，差错更小，即可控。因此，发展更加可控的语言模型就非常重要。对于可控生成，构建什么样的控制条件（动作）是一个比较重要的议题。在语言的生成问题中，控制条件往往并不清晰，甚至隐含在背景中。因此我们考虑如何显式地建立语言生成的控制条件，并用决策的方式来控制语言的生成。 在语言生成问题中，意图实际上是潜在的控制语言的隐变量，而意图 ………………………………