172-A2｜故事叙述到动画视频可控生成的导演代理，受限数据训练高质量视频生成器；稀疏重建用于网格生...

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） Topic: Video Generation｜LMM & Animation, Limited Data Anim-Director: A Large Multimodal Model Powered Agent for Controllable Animation Video Generation 2024-08-19｜HIT(SZ), JLU, Shanghai AI Lab｜SIGGRAPH Asia 2024 ｜⭐️ ⭐️ http://arxiv.org/abs/2408.09787v1 https://github.com/HITsz-TMG/Anim-Director 概述 本研究介绍了一种新型动画生成智能代理——Anim-Director，旨在自动化动画制作流程。 借助大型多模态模型（LMMs）和高级生成工具，该系统能 根据简要的故事叙述自动构建动画视频 。传统动画生成方法通常依赖 人工标注数据训练多个模型 ，导致复杂且资源消耗高的多步骤管道。Anim-Director通过 整合LMM的先进理解和推理能力，能够从用户提供的简短叙述中产生连贯、富有情节的动画视频 ，这不仅提高了生成过程的效率，也降低了对人类干 ………………………………