ECCV 2024 Oral 满分论文！SpikeYOLO：高性能低能耗目标检测网络

主要观点总结

本文主要介绍了SpikeYOLO目标检测框架和整数训练脉冲推理神经元的研究内容。SpikeYOLO旨在弥合SNN和ANN在目标检测任务上的性能差距，提出了简化SNN架构和整数训练脉冲推理神经元的设计。实验结果表明，SpikeYOLO在静态和神经形态目标检测数据集上均取得了优异性能。

关键观点总结

关键观点1: 研究背景

脉冲神经网络（SNN）因生物合理性和低功耗特性被认为是人工神经网络（ANN）的有效替代方案。然而，大多数SNN网络只能应用于图像分类等简单任务，目标检测上性能较低。

关键观点2: 主要贡献

本文提出了SpikeYOLO目标检测框架和整数训练脉冲推理神经元，旨在提高SNN在目标检测任务上的性能，简化SNN架构，降低量化误差的影响。

关键观点3: 方法介绍

本文提出了SpikeYOLO，结合YOLOv8宏观设计和Meta-SpikeFormer微观设计的目标检测框架。采用整数训练脉冲推理神经元，降低模型量化误差。最佳性能是在静态COCO数据集上，mAP@50和mAP@50:95分别达到了66.2%和48.9%，在神经形态数据集Gen1上，mAP@50达到了67.2%。

关键观点4: 实验结果

实验结果表明，SpikeYOLO在COCO数据集和Gen1数据集上均取得了优异性能，相比之前的工作有明显的提升。

关键观点5: 参考文献

文章最后列出了相关的参考文献。

文章预览

关注“ FightingCV ”公众号 回复“ AI ”即可获得超100G人工智能的 教程 点击进入→   FightingCV交流群 中国科学院自动化所李国齐课题组 论文： https://arxiv.org/abs/2407.20708 代码： github.com/BICLab/SpikeYOLO 脉冲神经网络（Spike Neural Networks，SNN）因其生物合理性和低功耗特性，被认为是人工神经网络（Artificial Neural Networks，ANN）的一种有效替代方案。然而，大多数SNN网络都由于其性能限制，只能应用于图像分类等简单任务。为弥补ANN和SNN在目标检测上之间的性能差距，本文提出了目标检测框架SpikeYOLO，以及一种能够执行整数训练脉冲推理的脉冲神经元。在静态COCO数据集上，SpikeYOLO的mAP@50和mAP@50:95分别达到了66.2%和48.9%，比之前最先进的SNN模型分别提高了+15.0%和+18.7%；在神经形态目标检测数据集Gen1上，SpikeYOLO的mAP@50达到了67.2%，比同架构的ANN提高了+2.5%，并且能 ………………………………