ImmersePro：创新的端到端立体视频合成框架

文章预览

ImmersePro: End-to-End Stereo Video Synthesis Via Implicit Disparity Learning 论文： https://arxiv.org/abs/2410.00262v1 ImmersePro  是一种创新的立体视频合成框架，专门设计用于将单视图视频转换成立体视频。它采用了一种新颖的双分支架构，包括视差分支和上下文分支，通过空间-时间注意力机制处理视频数据。 该框架的一个突出特点是利用隐式视差引导来生成立体对，无需显式视差图，从而减少了与视差估计模型相关的潜在错误。此外，ImmersePro引入了YouTube-SBS数据集，这是一个大规模的立体视频数据集，包含超过700万立体对，为训练和评估立体视频生成模型提供了丰富的资源。 ImmersePro 在生成立体视频时，通过隐式视差和分层视差表示来确保时间维度上的立体视差一致性。它通过不同层次的视差图来增强视差细节，同时智能推断遮挡区域的几何结构，实现一致的右视图 ………………………………