OpenAI发布最新大模型安全对齐奖励方法——RBR

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 随着ChatGPT等产品的广泛应用，确保其输出的安全性成为场景化落地的关键。传统方法是使用RLHF（人类反馈强化学习）来进行安全对齐，但有两大局限性难以持续使用。 1）收集和维护人类反馈数据不仅成本高昂，并且随着大模型能力的提高以及用户行为的变化，现有的数据很快就会过时失效； 2）如果数据标注者存在个人偏见，会导致模型的输出出现极大偏差，例如，标注人对黑人有歧视，就会在生成CEO等高端形象时偏向白人（这个情况真实发生过）。 所以，OpenAI提出了一个更高效的安全对齐奖励方法Rule Based Rewards（简称“RBR”）。 论文地址： https://cdn.openai.com/rule-based-rewards-for-language-model-safety ………………………………