连环画创作源泉！港科大、腾讯等开源SEED-Story：开创性多模态长故事生成！

文章预览

点击下方 卡片 ，关注“ AI生成未来 ” >>后台回复“GAI”，免费获取AI行业报告和资料！ 作者：Shuai Yang等 解读：AI生成未来     文章链接：https://arxiv.org/pdf/2407.08683 github链接：https://github.com/TencentARC/SEED-Story 亮点直击 SEED-Story，一种利用多模态大语言模型（MLLM）生成具有丰富叙述性文本和上下文相关图像的多模态故事的新方法。 提出了多模态注意力汇聚机制，以高效生成长度大于训练时使用的序列长度的长故事。 引入了StoryStream，这是一个专门为训练和基准测试多模态故事生成而设计的大规模数据集。 随着图像生成和开放形式文本生成的显著进步，生成交织图像-文本内容的领域变得越来越引人入胜。多模态故事生成，即生成叙述性文本和生动图像交织在一起的内容，已成为一个具有广泛应用的宝贵且实用的任务。然而，这一任务带来了重大挑 ………………………………