蚂蚁交互智能实验室最新开源Framer：用两张图片交互式生成轨迹可控的视频

文章预览

视频帧插值是一种通过在两个连续的视频帧之间插入新的帧来增加视频帧速率的技术。它可以提高视频质量，并使视频看起来更加平滑和流畅。 例如，在电影中，通常每秒播放24个帧，但在电视上播放时，可能会降低到每秒30个帧。这会导致视频看起来有些卡顿和不连贯。通过使用视频帧插值技术，可以在这些帧之间添加更多的帧，从而使得视频看起来更加流畅。 当然，也可以通过通过帧插值的方式做图像变形； 或者将卡通和素描稿件生成视频等等。 01.  Framer 是什么？ Ant Research Framer 是浙江大学与蚂蚁技术研究院交互智能实验室联合提出的一种基于视频扩散模型的交互式视频帧插值方法。它利用了大型预训练的视频扩散模型的强大视觉先验能力，可以根据用户的创意，在两张图片之间产生平滑过渡的帧。 该方法不仅支持将起始和结束帧作为输入 ………………………………