实时交互流式数字人

文章预览

项目简介 实时交互流式数字人，实现音视频同步对话。基本可以达到商用效果 特点 支持多种数字人模型: ernerf、musetalk、wav2lip 支持声音克隆 支持数字人说话被打断 支持全身视频拼接 支持rtmp和webrtc 支持视频编排：不说话时播放自定义视频 安装 安装依赖 conda create -n nerfstream python=3.10 conda activate nerfstream conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch pip install -r requirements.txt #如果只用musetalk或者wav2lip模型，不需要安装下面的库 pip install "git+https://github.com/facebookresearch/pytorch3d.git" pip install tensorflow-gpu==2.8.0 pip install --upgrade "protobuf < =3.20.1" linux cuda环境搭建可以参考这篇文章 https://zhuanlan.zhihu.com/p/674972886 2. Quick Start 默认采用ernerf模型，webrtc推流到srs 2.1 运行srs export CANDIDATE='' docker run --rm --env CANDIDATE=$CANDIDATE \ -p 1935:1935 -p 8080:8080 -p 1985:1985 -p ………………………………