CVPR’24 Best Paper丨丰富的人类反馈助力文本到图像生成

文章预览

来源：投稿  作者：橡皮 编辑：学姐 论文链接：https://arxiv.org/abs/2312.10240 项目主页：https://github.com/google-research/google-research/tree/master/richhf_18k 摘要： 最近的文本到图像（T2I）生成模型（例如稳定扩散和 Imagen）在基于文本描述生成高分辨率图像方面取得了重大进展。然而，许多生成的图像仍然存在诸如伪影/难以置信、与文本描述不一致以及审美质量低等问题。受大型语言模型的人类反馈强化学习 (RLHF) 成功的启发，之前的工作收集了人类提供的分数作为生成图像的反馈，并训练奖励模型来改进 T2I 生成。在本文中，我们通过（i）标记不可信或与文本不对齐的图像区域，以及（ii）注释文本提示中的哪些单词在图像上被歪曲或丢失来丰富反馈信号。我们在 18K 生成图像 (RichHF18K) 上收集如此丰富的人类反馈，并训练多模态Transformer来自动预测丰富的反馈 ………………………………