打破3D标注限制！DICE：首个端到端从单张图像中进行手脸交互恢复框架！

文章预览

点击下方 卡片 ，关注 「计算机视觉工坊」 公众号 选择 星标 ，干货第一时间送达 编辑：计算机视觉工坊 0.这篇文章干了啥？ 这篇文章介绍了DICE，一种用于通过单目图像重建三维手部和面部交互及其变形的端到端方法。DICE模型采用双分支变压器结构MeshNet和InteractionNet来建模局部变形场和全局网格几何，并通过逆运动学模型IKNet输出可动画的参数化手部和面部网格。此外，文章提出了一种新颖的弱监督训练流程，利用少量野外图像并结合深度先验和对抗损失提供姿势先验。实验结果表明，DICE在重建准确性和合理性方面达到了当前最高水平，并且推断速度达20 fps，支持更多的交互式应用。DICE不仅在标准基准数据集上表现出色，还在野外数据上展示了卓越的泛化能力。 下面一起来阅读一下这项工作~ 1. 论文信息 论文题目：DICE: End-to-end Deformation Capture ………………………………