开源！优于Domo AI！！阿里Diffutoon：端到端的高质量视频动漫化方法

主要观点总结

该文章介绍了Diffutoon这一梦幻般的卡通渲染方法，它能够转换动画风格的逼真视频。此方法包括主要的卡通渲染管道和一个编辑分支，可以处理非常高的分辨率和快速运动，并作为Domo AI视频转绘的一个平替。文章详细描述了Diffutoon的工作原理、关键步骤及其优点和缺点，并通过实验展示了其实际效果。

关键观点总结

关键观点1: Diffutoon是一个卡通渲染方法

Diffutoon旨在转换动画风格的逼真视频，具有处理高分辨率和快速运动的能力，并可作为Domo AI视频转绘的替代方案。

关键观点2: Diffutoon的主要工作原理

Diffutoon包括一个主要的卡通渲染管道和一个编辑分支。卡通渲染管道负责将输入视频渲染为动画风格，而编辑分支则用于生成编辑过的彩色视频。

关键观点3: Diffutoon的卡通渲染流程

卡通渲染任务分为四个子任务：风格化、一致性增强、结构指导和着色。每个子任务都使用专门的模型来处理，并通过关键步骤如生成结构视频和彩色视频、使用控制网模型等来实现卡通渲染。

关键观点4: Diffutoon的优点和缺点

Diffutoon的优点包括能够处理高分辨率和快速运动的视频，并具有良好的场景一致性。然而，其缺点包括处理速度较慢，以及不支持任意视频分辨率的输入。

关键观点5: 实验结果

文章通过实验结果展示了Diffutoon的实际效果，包括用户偏好度比较和可视化结果比较。

文章预览

文章地址：https: //arxiv.org/abs/2401.16224 项目地址：https: //github.com/modelscope/DiffSynth-Studio 点击下方 卡片 ，关注“ AICV与前沿 ” Diffutoon是一个梦幻般的卡通渲染方法，旨在转换动画风格的逼真视频。它可以处理非常高的分辨率和快速运动，可以做为Domo AI视频转绘的一个平替。 Domo AI 视频转绘官方 Discord 链接：  https://discord.gg/domoai 从实际测试来看， Diffutoon 效果稳定可靠，场景一致性保持 较好，还是非常不错。 缺点就是处理速度较慢，处理一个1024*1024的10多秒的视频（160帧）使用需要差不多40分钟（机器V100）；此外，不支持任意视频分辨率的输入。 官方展示效果 本地部署实际测试示例 动漫 - 动漫 真人 - 动漫 01 方法 Diffutoon架构（ 顶部是主要的卡通渲染管道，底部是编辑分支 ） Diffutoon 整个方法包括一个主要的卡通渲染管道和一个编辑分支。主要的 ………………………………