小白学NLP：ChatGPT稳定性评测

文章预览

本文讨论了OpenAI发布的ChatGPT聊天机器人服务。ChatGPT的稳健性对于公众来说仍然不清楚。 论文原文：https://arxiv.org/pdf/2302.12095 本文从对抗性和分布外（OOD）的角度对ChatGPT的稳健性进行了全面评估。我们使用AdvGLUE和ANLI基准来评估对抗性稳健性，并使用Flipkart评论和DDXPlus医学诊断数据集进行OOD评估。 unset unset 模型稳定性介绍 unset unset 对抗性稳健性 对抗性输入 是通过在原始输入 上添加一个 范围内的、不可察觉的扰动 生成的。可以通过优化以下目标来学习最优分类器（Madry等，2017年）： 分布外（OOD）稳健性 另一方面，OOD稳健性（泛化）旨在通过训练现有数据来学习在未见分布上的最优分类器。一种流行的OOD稳健性公式是最小化所有分布 上的平均风险，这些分布是从所有可能分布的集合（可能大于 ）中采样的： unset unset 稳定性评测方法 unset ………………………………