3D虚拟人ExAvatar：由简短视频建模转化为3D数字形象

主要观点总结

本文主要介绍了ExAvatar技术，该技术是DGIST和Meta公司的Codec Avatars Lab联合研发的一项技术，能够通过捕捉视频中的动作和表情，转化为栩栩如生的3D数字形象。ExAvatar是一种富有表现力的全身3D高斯化身，结合了SMPL-X的全身驾驶能力和3DGS的强大外观建模能力。通过短时间的手机扫描就可以制作成约十秒的动画。该技术解决了以往技术难题，提高了动画的自然度和渲染效果。

关键观点总结

关键观点1: 技术概述

ExAvatar是一种全新富有表现力的全身3D高斯化身技术，能捕捉视频中的动作和表情转化为逼真的数字形象。

关键观点2: 技术特点

结合了SMPL-X的全身驾驶能力和3DGS的强大外观建模能力；支持新颖的身体姿势、手势和面部表情的动画，以及从任何视点的渲染。

关键观点3: 解决的主要问题

解决了视频中面部表情和姿势的多样性有限，以及缺乏3D观察的问题，如3D扫描和RGBD图像。

关键观点4: 方法介绍

提出了3D高斯和表面网格的混合表示，每个3D高斯被视为表面上的顶点，具有预定义的连接信息（即三角形面），遵循SMPL-X的网格拓扑。

关键观点5: 效果展示

展示了具有新颖面部表情的动画，以及与其他虚拟形象的对比效果，实现了更自然的动作和外观。

文章预览

作者 | AIGC Studio  编辑 | AIGC Studio 点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 ExAvatar是由DGIST和Meta公司的Codec Avatars Lab联合研发的一项技术，能够通过捕捉视频中的动作和表情，转化为栩栩如生的3D数字形象。这项技术解决了以往技术中的难题，提高了动画的自然度和渲染效果。 什么是 ExAvatar？ ExAvatar 是全新富有表现力的全身 3D 高斯化身。 结合了SMPL-X的全身（身体、手和脸）驾驶能力和3DGS的强大外观建模能力。 通过随意拍摄的短手机扫描中性姿势约10秒制作而成。 支持具有新颖的身体姿势、手势和面部表情的动画以及从任何视点的渲染。 相关链接 项目地址：mks0601.github.io/ExAvatar/ 论文地址：arxiv.org/abs/2407.21686 论文阅读 ExAvatar：富有表现力的全身 3D 高斯虚拟人 摘要 面部表情和手势 ………………………………