StereoCrafter：腾讯重磅打造的沉浸式观看体验新型2D到3D视频转换框架

文章预览

StereoCrafter: Diffusion-based Generation of Long and High-fidelity Stereoscopic 3D from Monocular Videos 介绍： https://stereocrafter.github.io/ 论文： https://arxiv.org/abs/2409.07447 StereoCrafter  是腾讯 AI Lab 打造的新型框架，旨在将单目2D视频转换成高质量的立体3D视频。 它通过结合深度学习模型和先进的视频处理技术，实现了一种能够产生沉浸式观看体验的解决方案。该框架特别适合在3D眼镜、Apple Vision Pro和3D显示器等设备上观看，为电影、视频博客、3D动画和AIGC视频等各种视频源提供了一种转换方法。 StereoCrafter 的核心特性在于其两个主要处理步骤：首先，它使用基于深度的视频散射技术来变形视频，并提取遮挡掩模；其次，利用立体视频修复技术来生成最终的右视图视频。这一过程不仅保证了与原始左视图视频的空间一致性，还通过预训练的稳定视频扩散模型确保了结果的高质 ………………………………