专栏名称: OpenMMLab
构建国际领先的人工智能开源算法平台
今天看啥  ›  专栏  ›  OpenMMLab

直播预告丨社区热议的Follow Family可控视频生成技术大揭秘

OpenMMLab  · 公众号  · AI 科技自媒体  · 2024-09-09 19:01
    

主要观点总结

本文介绍了社区开放麦的开播内容,重点介绍了视频生成领域的可控视频生成技术和Follow Family系列工作的相关内容。文章还提到了嘉宾介绍、分享内容和细节,包括Follow Your Pose、Follow Your Click、Follow Your Emoji和Follow Your Canvas等。此外,还包括了相关论文链接、代码链接和网页链接等。

关键观点总结

关键观点1: 社区开放麦关于视频生成领域的讨论

社区开放麦讨论了视频生成领域的可控视频生成技术和Follow Family系列工作,包括骨架控制、肖像控制、局部可控图生视频等。

关键观点2: 嘉宾介绍

嘉宾马跃是香港科技大学计算机博士,主要研究领域为视频生成和图片生成,曾在百度和腾讯AI Lab实习,发表过多篇高水平文章,获得过北京市优秀毕业生等荣誉称号。

关键观点3: Follow Your Pose的详细介绍

Follow Your Pose是一种能够生成可编辑文本和可控姿势的人物视频的方法。它采用两阶段的训练方案,利用姿势图像对和无姿势视频数据集以及预训练的文本到图像(T2I)模型,成功生成可控姿势的人物视频。

关键观点4: Follow Your Click的特点

Follow Your Click是一个图像到视频生成模型,允许用户通过简单的点击和短动作提示将静态图像转换为局部动画视频。它提供了直观的用户界面,并支持多对象同时动画。

关键观点5: Follow Your Emoji的重要性

Follow Your Emoji是一个基于扩散模型的人像动画框架,旨在通过添加目标表情序列为静态肖像实现动态动画效果。它特别注重保持身份特征并捕捉微妙的表情变化。

关键观点6: Follow Your Canvas的贡献

Follow Your Canvas是一个基于扩散模型的高分辨率视频外推框架,目标是通过丰富的内容生成实现视频的高质量外推。它结合了空间窗口策略和布局对齐设计,为处理任意大小和分辨率的视频提供了有效的解决方案。


文章预览

【社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~ 本期精彩 随着生成技术的快速发展,视频生成已经步入了新的高度。可控视频生成也引起了科研人员的关注,如何能够进行更加可控的生成成为业界关注的焦点. 在这个领域中,Follow Family 中的一系列工作对此进行了探索,包括骨架控制,肖像控制,局部可控图生视频,大分辨率视频扩展生成等,受到了很高的关注。 本期社区开放麦特别邀请到香港科技大学计算机博士马跃为大家带来 Follow Family 的分享。 分享内容 Follow-Your-Pose Follow-Your-Click Follow-Your-Emoji Follow-Your-Canvas 分享时间 北京时间 2024 年 9 月 12 日(周四) 20: 00 - 20: 40(分享) 20: 40 - 21: 00(Q ) 分享嘉宾 马跃 香 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览