新加坡国立大学 & 牛津提出 SurgSAM-2 | 采用高效帧裁剪（EFP）机制，实现实时手术视频分割 ！

文章预览

手术视频分割是计算机辅助手术中的一个关键任务，对于提高手术质量和患者预后至关重要。最近，Segment Anything Model 2（SAM2）框架在图像和视频分割方面取得了优越的进展。 然而，由于需要处理高分辨率图像和手术视频中复杂且长时间动态范围，SAM2在效率方面存在问题。 为了解决这些挑战，作者提出了一个高级模型 Surgical SAM 2（SurgSAM-2），该模型利用SAM2，并采用高效帧裁剪（EFP）机制，以实现实时手术视频分割。 EFP机制通过选择性保留只有最具有信息性的帧，动态管理内存单元，从而减少了内存使用和计算成本，同时保持了高的分割精度。 作者的广泛实验表明，与原始SAM2相比，SurgSAM-2在提高效率和分割精度方面有显著提高。 值得注意的是，SurgSAM-2以3倍每秒的帧率运行，并在使用低分辨率数据进行微调后，也达到了最先进的表现。这些进展使 ………………………………