CVPR 2024 | 针对去模糊和插帧问题的事件相机延迟矫正

主要观点总结

在CVPR 2024上，商汤智能影像团队联合北京大学相机智能实验室提出了事件相机的延迟校正算法，该算法针对低光下的去模糊和插帧任务的退化问题进行了有效的建模与校正。通过提出事件相机的时序置信度指标，实现了基于搜索的延迟矫正算法，并建立了延迟与模糊图像强度值的关系曲线。所提出的事件校正算法在多个去模糊和插帧算法上均有显著的性能提升。

关键观点总结

关键观点1: 事件相机的延迟校正算法

通过对去模糊图像的去模糊效果评估实现对延迟效应的自监督学习，提出了基于事件的时序置信度指标，用于评估去模糊后图像的清晰程度。基于所提出的时序置信度指标，实现了基于搜索的延迟矫正算法。

关键观点2: 事件积分的可导表达

为了解决事件相机在低光照下的延迟问题，提出了事件积分的可导表达，使得双重积分去模糊算法对延迟可导。提供了两种可导方案：分段常函数和高斯函数。

关键观点3: 实验验证

通过实验结果证明了所提出的延迟校正算法能够明显提升去模糊和插帧算法的性能，并说明了低光下延迟效应对去模糊和插帧任务造成的困难与挑战。

文章预览

摘要 · 看点 在CVPR 2024上，商汤智能影像团队联合北京大学相机智能实验室提出了事件相机的延迟校正算法，针对低光下的去模糊和插帧任务的退化问题提出了有效的问题建模与自监督校正算法。在问题建模方面，通过实验建模了延迟与光强之间的曲线关系，并提出可导的事件双重积分表示法；在监督方式方面，提出了对去模糊图像的去模糊效果进行评估的事件置信度指标，并基于该指标及上述曲线实现了自监督的延迟校正算法。所提出的事件校正算法在多个去模糊和插帧算法上均有显著的性能提升。 论文名称：Latency Correction for Event-guided Deblurring and Frame Interpolation 问题和挑战 事件相机是一种新型神经形态相机，具有高动态范围、高速、低功耗的优点，被应用在多个对时间敏感的任务上，例如去模糊和插帧等。 然而，受限于事件相机的底层设计逻 ………………………………