上海AI Lab/浙大/悉尼大学联合提出视频深度估计的混合长度训练策略：从单帧到长视频的精确预测 ！

主要观点总结

本文提出了Depth Any Video，一种利用生成视频扩散模型进行多种图像和视频深度估计的新方法。通过收集大规模合成数据，结合先进的视频处理技术和生成模型，实现了在时间一致性的基础上对广泛未见场景的细粒度深度序列生成。与先前的生成深度估计模型相比，该方法在性能和效率上均实现了显著的提升。

关键观点总结

关键观点1: 引入大规模合成数据用于深度估计

通过收集高度逼真的合成数据，扩展了模型在真实世界场景中的泛化能力。

关键观点2: 使用生成视频扩散模型

利用视频扩散模型的强大先验知识处理实际视频，提高了模型的性能。

关键观点3: 提出混合时长训练策略

通过随机丢弃帧和分组处理不同长度的视频，优化了训练效率和模型性能。

关键观点4: 应用帧插值技术

基于关键帧预测中间帧，确保了全局一致性，显著减少了窗口间的闪烁伪影。

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 Abstract 视频深度估计一直受到一致和可扩展的 GT 数据稀缺的限制，导致结果不一致和不可靠。在本文中，作者提出了 Depth Any Video ，通过两个关键创新来应对这一挑战。 首先，作者开发了一个可扩展的合成数据 Pipeline ，从各种合成环境中捕获实时视频深度数据，生成了4万个5秒长度的视频片段，每个视频片段都有精确的深度标注。 其次，作者利用生成视频扩散模型的强大先验知识有效地处理实际视频，集成如旋转位置编码和流匹配等先进技术，进一步提高灵活性和效率。 与先前的模型不同，作者的方法引入了一种新颖的混合长度训练策略，可以处理长度不同的视频和不同的帧率，甚至在单帧上表现强劲。 在推理阶段，作者提出了一种 ………………………………