NUS提出ProcessPainter，从文本生成分步骤绘画过程

文章预览

最近，lvmin带来的最新模型Paints-UNDO，这款AI生成工具竟能再现整个绘画过程，让整个AIGC社区为之震撼！在1个月前，NUS，SJTU, Tiamat等机构联合发布了一篇做类似任务的工作 ProcessPainter: Learn Painting Process from Sequence Data，在Paints-UNDO技术报告公布之前，让我们一起看看ProcessPainter是如何实现的吧。          翻开任意一本绘画教学书籍，都可以发现将绘画分解成若干步骤的案例。然而，通过去噪过程完成图像生成和人类画家绘画过程完全不同，生成过程无法被直接用于绘画教学。为了解决这一问题，ProcessPainter通过在合成数据和人类画师绘画视频上训练时序模型，首次实现了让扩散模型生成绘画过程。此外，不同题材、画师、的绘画过程差异巨大，和最终结果一样蕴含独特风格。然而对绘画过程的研究很少，作者在预训练的motion model基础上，通过在特定 ………………………………