今天看啥  ›  专栏  ›  3D视觉之心

3D虚拟人ExAvatar:由简短视频建模转化为3D数字形象

3D视觉之心  · 公众号  · 3D 科技自媒体  · 2024-08-30 07:00

主要观点总结

本文主要介绍了ExAvatar技术,该技术是DGIST和Meta公司的Codec Avatars Lab联合研发的一项技术,能够通过捕捉视频中的动作和表情,转化为栩栩如生的3D数字形象。ExAvatar是一种富有表现力的全身3D高斯化身,结合了SMPL-X的全身驾驶能力和3DGS的强大外观建模能力。通过短时间的手机扫描就可以制作成约十秒的动画。该技术解决了以往技术难题,提高了动画的自然度和渲染效果。

关键观点总结

关键观点1: 技术概述

ExAvatar是一种全新富有表现力的全身3D高斯化身技术,能捕捉视频中的动作和表情转化为逼真的数字形象。

关键观点2: 技术特点

结合了SMPL-X的全身驾驶能力和3DGS的强大外观建模能力;支持新颖的身体姿势、手势和面部表情的动画,以及从任何视点的渲染。

关键观点3: 解决的主要问题

解决了视频中面部表情和姿势的多样性有限,以及缺乏3D观察的问题,如3D扫描和RGBD图像。

关键观点4: 方法介绍

提出了3D高斯和表面网格的混合表示,每个3D高斯被视为表面上的顶点,具有预定义的连接信息(即三角形面),遵循SMPL-X的网格拓扑。

关键观点5: 效果展示

展示了具有新颖面部表情的动画,以及与其他虚拟形象的对比效果,实现了更自然的动作和外观。


文章预览

作者 | AIGC Studio  编辑 | AIGC Studio 点击下方 卡片 ,关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 ExAvatar是由DGIST和Meta公司的Codec Avatars Lab联合研发的一项技术,能够通过捕捉视频中的动作和表情,转化为栩栩如生的3D数字形象。这项技术解决了以往技术中的难题,提高了动画的自然度和渲染效果。 什么是 ExAvatar? ExAvatar 是全新富有表现力的全身 3D 高斯化身。 结合了SMPL-X的全身(身体、手和脸)驾驶能力和3DGS的强大外观建模能力。 通过随意拍摄的短手机扫描中性姿势约10秒制作而成。 支持具有新颖的身体姿势、手势和面部表情的动画以及从任何视点的渲染。 相关链接 项目地址:mks0601.github.io/ExAvatar/ 论文地址:arxiv.org/abs/2407.21686 论文阅读 ExAvatar:富有表现力的全身 3D 高斯虚拟人 摘要 面部表情和手势 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览