CVPR24新作：教你网络“影分身术”，半小时生成专属数字人的GaussianAvatar

主要观点总结

本文介绍了一种基于可驱动3DGS的人体数字化身建模方法，该方法通过结合SMPL/SMPL-X模型实现高效建模和实时驱动。主要技术包括可驱动3DGS、动态高斯参数预测、动作联合优化和训练策略等。

关键观点总结

关键观点1: 背景简介

数字化身建模是热门计算机视觉和图形学任务，基于单目视频的人体数字化身建模只是其中的一个小任务。神经辐射场（NeRF）具有高真实感的渲染质量，但存在渲染和建模速度慢的问题。3D高斯泼溅（3DGS）在建模和渲染速度上比NeRF要好，但如何应用到人体数字化身建模任务上具有挑战。

关键观点2: 方法详析

本文提出一种基于可驱动3DGS的人体数字化身建模方法，通过结合SMPL/SMPL-X模型，实现高效建模和实时驱动。主要技术包括可驱动3DGS、动态高斯参数预测、动作联合优化和训练策略等。其中，可驱动3DGS是将3DGS和人体模型SMPL/SMPL-X结合，通过线性混合蒙皮公式完成驱动；动态高斯参数预测是通过神经网络预测高斯参数；动作联合优化是对人体姿态进行矫正；训练策略包括两个阶段，第一阶段训练可优化特征向量和高斯参数解码器，第二阶段加入姿态编码器的训练。

关键观点3: 实验与结果

本文在多个数据集上进行实验，包括People-Snapshot、NeuMan和自己采集的DynVideo数据集。通过与基于NeRF的方法HumanRF和InstantAvatar进行对比，本文方法在定量和定性实验对比中均取得了较好的结果。

关键观点4: 总结与未来工作

本文通过结合SMPL/SMPL-X模型提出了可驱动3DGS，实现了高效建模和实时驱动。但仍存在一些问题，例如建模速度、复杂衣物的建模等。未来工作将致力于解决这些问题。

文章预览

↑ 点击 蓝字  关注极市平台 作者丨胡良校 来源丨深蓝AI 编辑丨极市平台 极市导读   3DGS相较于NeRF具有渲染质量高，速度快的优势，NeRF是之前单目人体数字化身建模任务的主流表达方式，如何将3DGS的优势扩展到这一任务中替代NeRF是一个非常有意思的方向。本文介绍如何将3DGS这种高效表达方式建模人体数字化身，为大家呈现一个趣味性极强的可实时驱动的数字化身。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 项目地址： https://huliangxiao.github.io/GaussianAvatar 关于作者 本文由原paper一作胡良校博士全权翻译写作，胡良校博士就读于哈尔滨工业大学，师从张盛平教授，主要研究方向为人体数字化身建模与驱动，有多项工作发布于顶会顶刊上，本篇paper入选了CVPR 2024。 个人主页：https://huliangxiao.github.io/https://huliangxiao.github.io/ 01 背景简介 数字化 ………………………………