LAVE: 使用 LLM 对 Docmatix 进行零样本 VQA 评估 - 我们还需要微调吗？

文章预览

在开发 Docmatix 时，我们发现经其微调的 Florence-2 在 DocVQA 任务上表现出色，但在基准测试中得分仍比较低。为了提高基准测试得分，我们必须在 DocVQA 数据集上进一步对模型进行微调，以学习该基准测试的语法风格。有意思的是，人类评估者认为经额外微调后，模型的表现似乎反而不如仅在 Docmatix 上微调那么好，因此我们最后决定仅将额外微调后的模型用于消融实验，而公开发布的还是仅在 Docmatix 上微调的模型。 尽管模型生成的答案在语义上与参考答案一致 (如图 1 所示)，但基准测试的得分却较低。这就引出了一个问题: 我们应该微调模型以改进在既有指标上的表现，还是应该开发与人类感知更相符的新指标？ 图 1: Docmatix 数据集微调模型零样本生成的答案与参考答案之间的 t-SNE 图 背景 社区最近很关注分布外 (out-of-distribution，OOD) 评估，即利用 ………………………………