DepthCrafter：来自腾讯的开放世界视频高质量长深度序列生成器

文章预览

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos 介绍： https://depthcrafter.github.io/ 代码： https://github.com/Tencent/DepthCrafter 论文： https://arxiv.org/abs/2409.02095 DepthCrafter  是一种创新的视频深度估计方法，由腾讯AI Lab主导开发，它通过利用视频扩散模型来生成具有精细细节和时间一致性的长深度序列。 该方法专为处理开放世界视频中的挑战而设计，能够在不需要额外信息，如相机姿态或光流的情况下，处理内容、运动、相机运动和视频长度的极端多样性。 DepthCrafter 通过一个精心设计的三阶段训练策略，结合真实和合成数据集，训练出一个能够一次性生成多达110帧长度的深度序列的视频到深度模型。此外，为了处理极长视频的深度估计，DepthCrafter还设计了一种推理策略，通过分段估计和无缝拼接来实现。 DepthCrafter 的一个显著特性是其推理策略 ………………………………