专栏名称: APPSO
让智能手机更好用的秘密。
今天看啥  ›  专栏  ›  APPSO

字节最新技术一键「迁移」表情神态,人人都是演技派

APPSO  · 公众号  · app  · 2024-11-09 11:59

主要观点总结

字节跳动和清华大学在GitHub上联合推出了最新的人像动画技术——X-Portrait 2。这是一款生成式人像转移模型,能够一键将表情从表演视频迁移至静态肖像上,使肖像动起来。X-Portrait 2具备跨风格和跨领域的表情转移能力,可应用于电影、动画的后期特效制作等领域。相较于其原型,X-Portrait 2在表情捕捉、动画流畅性和真实感方面有明显提升。

关键观点总结

关键观点1: X-Portrait 2的功能特点

X-Portrait 2是一款生成式人像转移模型,可以将表情从表演视频迁移至静态肖像上,实现肖像动画效果。具备跨风格和跨领域的表情转移能力,可应用于不同领域,如电影、动画的后期特效制作等。

关键观点2: X-Portrait 2相较于原型的升级和创新

X-Portrait 2采用了更先进的表情编码器,能够更精确地捕捉和再现人物的微妙表情。同时,实现了外观和动作的有效分离,保留了原始图像的外观特征,提高了动画的自然程度和一致性。此外,引入了生成式扩散模型,能够处理不同视角下的表情变化,生成更加流畅和真实的动画效果。

关键观点3: X-Portrait 2与竞品的对比

相较于同类竞品Runway的Act-One,X-Portrait 2在表情复刻、动画流畅性和情感传递方面表现更优秀,能够更精准地呈现人物表情和细节。


文章预览

近日,字节跳动和清华大学在 GitHub 上联合推出了一款最新的人像动画技术「 X-Portrait 2 」。 具体来讲,X-Portrait 2 是一款「 生成式人像转移模型 」,其使用方法非常直观和简单:用户只需要提供一张静态肖像图和一段含有表情变化的「表演」视频,这个技术就能一键将表情「迁移」至肖像上面,从而使前者也「 动起来 」。 就像下面这样: 可以看到,左下角是「静态肖像」,右下角则是「表演视频」,而 X-Portrait 2 的功能就是 让左边的角色做出同右边人物几乎一模一样的表情 。 除了「 表情 」以外,就连「 神态 」也几乎是像素级复刻: 眉眼和笑容之中所包含的「狡黠」和「顽皮」,全部都精准地呈现出来了。 头部扭动幅度较大的情况下,X-Portrait 2 也完全可以胜任,表情也并未失真: 一个比较「务实」的使用场景,是它可以用来「 对口型 」 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览