文章预览
用于图像真实感Avatar的面部动画快速配准 ( 映维网Nweon 2024年09月02日 )虚拟现实有望实现比其他媒介更具有沉浸感的社交,而其中的关键是能够在穿戴VR头显的同时精确地制作出一个逼真的Avatar。尽管在离线设置中可以实现对头戴式摄像头图像进行高质量的个人特定头像配准,但通用实时模型的性能会显著降低。 在一项研究中,斯坦福大学和Meta团队首先证明了Avatar和头戴式摄像头图像之间的域差是相关困难的主要来源之一。基于transformer的架构在域一致数据方面实现了高精度,但当重新引入域差时,它会降低精度。 基于这一发现,团队开发了一种系统设计,将问题解耦为两个部分:接受域内输入的迭代细化模块,以及基于当前表情和头部姿势估计的通用Avatar引导的图像到图像样式传递模块。 这两个模块相互加强,因为当显示接近ground truth的示
………………………………