大模型是否具有自己风格？这个风格来自于哪里？

文章预览

作者 ：bhn (已获授权) 链接 ：https://arxiv.org/abs/2309.17415 背景 这篇文章研究的是大模型生成任务中，出现上下文信息，与模型本身的知识冲突时（常见于rag场景），模型的处理方式。冲突具体分类为，上下文内容正确，但是模型本身知识错误，模型能采取上下文中的事实吗？或者上下文内容错误，模型本身知识是正确的，模型会选择相信本身的知识吗？ 冲突示例 在前面冲突分类的基础上，作者基于认知理论，将模型分类为直觉型（即相信知识），依赖型（即相信上下文），理性/非理性型（前两者中间，时而直觉，时而依赖）。 本文的工作 本文工作的主要思想是基于以上的分类，设计了一个完整的benchmark框架，包括数据集，评价pipeline，评价指标。 数据集（KRE）设计 数据集的设计是在MRC和CR数据集上构造冲突答案和冲突上下文，以实现两种冲突构 ………………………………