【他山之石】复旦&微软提出StableAnimator: 首个端到端的高质量ID一致性人类视频生成新框架！

文章预览

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！ 复旦大学和微软等机构联合提出StableAnimator框架，首个端到端的高质量身份一致性人类视频生成新框架。StableAnimator通过三个核心技术点：全局内容感知面部编码器、分布感知的身份适配器和基于Hamilton-Jacobi-Bellman方程的面部优化，实现了在复杂动作变化下保持人物身份信息的一致性，同时提升视频质量。 扩散模型近年来在图像和视频生成方面取得了显著成功，极大地激发了图像动画领域的研究。尤其是人像图像动画利用生成模型根据一系列姿态序列动画化参考图像，从而合成可控的人 ………………………………