主要观点总结
本文主要介绍了一种新的文本到视频模型对齐方法——LiFT。该方法利用人工反馈，通过三个关键步骤进行T2V模型对齐，包括人类反馈收集、奖励函数学习以及T2V模型对齐。文章还介绍了相关数据集LiFT-HRA、实验方法和结果等。
关键观点总结
关键观点1: LiFT方法介绍
本文提出了一种全新的视频生成人类偏好对齐方法——LiFT。该方法通过构建人类标注数据集LiFT-HRA，并在此基础上训练奖励模型LiFT-Critic，学习人类偏好奖励函数，最终对T2V模型进行优化对齐。
关键观点2: 人类反馈收集
LiFT方法的第一步是收集人类反馈，通过随机选择类别词生成短语并扩展为详细提示，再将文本提示输入T2V模型生成视频-文本对，最后通过人工标注构建出LiFT-HRA数据集。
关键观点3: 奖励函数学习与T2V模型对齐
基于LiFT-HRA数据集训练出LiFT-Critic奖励模型，学习反映人类偏好的奖励函数。然后使用LiFT-Critic对T2V模型生成的视频进行评估，将评分映射为奖励权重，引导T2V模型的奖励加权学习，实现模型对齐。
关键观点4: 实验结果
在CogVideoX-2B模型上应用LiFT方法后，其性能在16项指标上全面超越了更大规模的CogVideoX-5B，展示了人类反馈在提升视频生成质量中的巨大潜力。
文章预览
LiFT：利用人工反馈实现文本到视频模型对齐 今天给大家介绍的文章来自公众号粉丝投稿，这项研究提出了一种新颖的微调方法 LiFT，利用人类反馈通过三个关键阶段进行 T2V 模型对齐：(1) 人类反馈收集，(2) 奖励函数学习，以及 (3) T2V 模型对齐。 提示词: 一位长发飘逸的女子站在沙滩上，拉着一条色彩鲜艳的风筝线。风筝又大又亮，在湛蓝的天空中高高飞扬。她的休闲装束，包括一件白色背心和牛仔短裤，与轻松阳光的氛围相得益彰。她抬头仰望，脸上洋溢着快乐和自由的感觉，风筝在微风中翩翩起舞，营造出动感而活泼的场景。 相关链接 • Project page: https://codegoat24.github.io/LiFT • Huggingface: https://huggingface.co/papers/2412.04814 • Code: https://github.com/CodeGoat24/LiFT • Paper: https://arxiv.org/pdf/2412.04814 论文阅读 LiFT：利用人工反馈实现文本到视频模型对齐 摘
………………………………
