字节&南开提出StoryDiffusion：生成一致的图像和视频来讲述复杂故事，图灵奖得主Yann LeCun亲自转载！

文章预览

两天前，图灵奖得主 Yann LeCun 转载了「自己登上月球去探索」的长篇漫画，引起了网友的热议。 这项技术的背后正是由字节和南开提出的StoryDiffusion，用于生成一致的图像和视频以讲述复杂故事。通过提出一致的自我关注来创建各种风格的漫画，保持一致的角色风格和服装以实现连贯的故事讲述。 上图由StoryDiffusion制作的漫画，讲述一个人在探索丛林时发现宝藏的故事。 相关链接 文章链接：https://arxiv.org/pdf/2405.01434 项目主页：https://storydiffusion.github.io/  Demo：https://huggingface.co/spaces/YupengZhou/StoryDiffusion 论文阅读 StoryDiffusion：用于长距离图像和视频生成的一致自注意力 摘要 对于最近的基于扩散的生成模型，在一系列生成的图像中特别是那些包含主题和复杂细节的图像保持一致的内容是一个重大的挑战。 在本文中，我们提出了一种新的方法自我 ………………………………