又火一个惊艳的开源项目，诞生了！

文章预览

大家好，今天继续聊聊科技圈发生的那些事。 一、ToonCrafter ToonCrafter 可以通过预训练的图像到视频扩散先验来插值两个卡通图像。通俗点说，就是给出起始帧，给出结束帧，ToonCrafter会帮你补全中间的部分，生成一段完整的视频图像。另外，它还有个功能，基于给出的草图，给草图中的内容上色。 ToonCrafter基于图像条件的扩散模型，通过丰富的运动先验来合成复杂的非线性运动和现象。主要包括三个关键的技术： 卡通矫正学习：通过对预训练的生成模型进行微调，使其能够更好地理解动画的上下文，并生成与卡通风格匹配的内容。 细节注入与传播解码：引入一个基于双参考的3D解码器，使用混合注意力残差学习机制，将有损的帧潜在变量转换回像素空间，并注入输入图像中的细节信息。 基于草图的可控生成：ToonCrafter配备了一个帧独立的草图编码 ………………………………