文章预览
主题 大语言模型多选题评估的偏见与鲁棒性 On the bias and robustness of LLM Multiple Choice Question Evaluation 时间 2024.9.7 20:00 本周六晚8点 入群 论文1："My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models ACL 2024 Findings 链接1：https://arxiv.org/abs/2402.14499 论文2：Look at the Text: Instruction-Tuned Language Models are More Robust Multiple Choice Selectors than You Think COLM 2024 链接2：https://arxiv.org/abs/2404.08382 大纲 背景： 1. 多项选择题作为重要模型评估方式的来源 2. 多项选择题评估的主要方法和问题 实验与分析： 1. 文本回答提取器的训练 2. 衡量token probability 与 文本回答的匹配度 以及 错配的原因 3. 两种衡量方式的对比： a. MMLU上准确率的表现 b. 对于输入干扰的鲁棒性 干绕种类：选项位置，选项范围，问题
………………………………
