时空联合建模+分钟级视频生成！清华联合商汤提出自动驾驶世界模型InfinityDrive

文章预览

文章转载自公众号：AGI之门。本文只做学术/技术分享，如有侵权，联系删文。 自动驾驶系统在应对复杂场景时面临挑战，主要源于对多样化、广泛且分布式的驾驶数据的访问受限，而此类数据对于确保安全导航至关重要。世界模型为这一挑战提供了一种颇具潜力的解决方案；然而，现有的驾驶世界模型在时间窗口的长度和场景的多样性方面存在局限性。 为此，作者提出了InfinityDrive——首个具备卓越泛化能力的驾驶世界模型。InfinityDrive通过几分钟的视频生成，实现了高保真度、一致性和多样性的视频输出。该模型引入了一个高效的时空共建模模块，并采用了一种扩展的时间训练策略，能够以高分辨率（576×I024）生成时空一致性高的视频。通过结合记忆注入与保留机制，以及自适应记忆曲线损失，InfinityDrive能够持续生成超过1500帧（约2分钟）的视 ………………………………