专栏名称: PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区:http://paperweek.ly | 微博:@PaperWeekly
今天看啥  ›  专栏  ›  PaperWeekly

ICML 2024 | 具有O(L)训练存储和O(1)推理功耗的时间可逆脉冲神经网络

PaperWeekly  · 公众号  · 科研  · 2024-07-17 13:06
    

主要观点总结

本文介绍了T-RevSNN模型在解决脉冲神经网络SNN训练难度大、内存消耗高和推理能效低的问题上的研究。通过时间可逆计算范式和T-RevSNN模型的设计,实现了低训练内存、低功耗和高性能的目标。文章详细阐述了模型的设计原理、实验过程和结果,并通过与其他SNN训练优化方法的对比分析,验证了T-RevSNN的有效性和优越性。

关键观点总结

关键观点1: 研究背景

脉冲神经网络SNN因其受大脑启发的神经元动态和基于脉冲的计算模式,被认为是一种低功耗的人工神经网络ANN的替代方案。然而,SNN的训练难度、内存消耗和推理能效等问题限制了其应用。

关键观点2: 研究目的

解决SNN的训练难度大、内存消耗高和推理能效低的问题,同时提高SNN的性能。

关键观点3: 研究方法

通过时间可逆计算范式和T-RevSNN模型的设计,仅在关键位置保留时间前向,关闭其他神经元的时间动态。采用多级信息传递,调整SNN架构,实现低训练内存、低功耗和高性能的目标。

关键观点4: 实验结果

在ImageNet数据集上进行实验,T-RevSNN以较低的内存消耗和训练时间,取得了具有竞争力的性能。与现有方法相比,T-RevSNN在内存效率、训练时间加速和推理能效方面具有显著优势。

关键观点5: 研究贡献

本文重新设计了SNN的前向传播,实现了低训练内存、低功耗和高性能。在三个方面进行了系统设计,实现了提出的想法。在ImageNet数据集上实现了最先进的准确性,同时具有最小的内存和推理成本。


文章预览

©PaperWeekly 原创 · 作者 |  李国齐课题组 单位 |  中国科学院自动化研究所 研究方向 |  类脑计算 脉冲神经网络(Spike Neural Network,SNN)因其受大脑启发的神经元动态和基于脉冲的计算模式,被认为是一种低功耗的人工神经网络(Artifical Neural Network,ANN)替代方案。然而受限于 SNN 中的神经元的时空动态特性,SNN 的训练显存开销与运算时间均远远大于 ANN [1,2,3,4] 。 为解决此问题,本文提出一种时间可逆计算范式,并基于此开发了 T-RevSNN 模型。与现有的 Spike-driven Transformer [5] 相比,T-RevSNN 的内存效率、训练时间加速和推理能效分别具有 8.6 倍、2 倍和 1.6 倍的显著提高。 论文标题: High-Performance Temporal Reversible Spiking Neural Networks with O(L) Training Memory and O(1) Inference Cost 论文地址: https://openreview.net/forum?id=s4h6nyjM9H 代码地址: https://github.com/BICLab/T-RevSNN ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览