178-A2｜统一视频生成与识别，图像到视频关键帧插值，混合模态控制肖像动画化；基于八叉树的DM用于形状生成，多目标概念网格变形

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） Topic: Video Generation｜Unifying Generation and Recognition, Image-to-Video & Keyframe Interpolation, Mixed-Modal Control & Portrait Animation GenRec: Unifying Video Generation and Recognition with Diffusion Models 2024-08-27｜Fudan, UMD ｜⭐️ 🟡 http://arxiv.org/abs/2408.15241v1 概述 在这篇论文中，作者提出了GenRec框架， 旨在将视频生成与识别任务统一到同一模型中 。通过利用扩散模型的强大空间-时间特性， GenRec探讨了生成过程中的先验知识是否适合于视频识别 。文中采用了 改进的稳定视频扩散（Stable Video Diffusion）模型 ，通过随机帧条件处理， 学习更为通用的空间-时间表示 。实验结果表明，GenRec在SSV2和K400等数据集上展现了出色的识别性能，分别达到了75.8%和87.2%的准确率，且在仅有部分可见帧的情况下仍表现出卓越的鲁棒 ………………………………