南京大学Nature electronic: 无索引稀疏神经网络：开启高效低功耗AI新时代

主要观点总结

本文介绍了一种基于二维半导体铁电场效应晶体管（FeFET）的无索引稀疏神经网络（SPNN）硬件架构。通过结合硬件设计、算法优化和训练调度，实现了在75%稀疏性下98.4%的准确率，显著降低了稀疏神经网络在延迟和能耗方面的性能损耗。论文详细阐述了该架构的设计原理、实现方法和性能评估。

关键观点总结

关键观点1: 研究背景

随着人工智能技术的发展，构建高效、低能耗的神经网络成为当前研究热点。受生物大脑启发，稀疏神经网络通过模拟大脑中突触的动态稀疏性，提高了能量利用效率。然而，现有稀疏神经网络的实现往往依赖于外部索引，引入了额外的能耗和延迟。

关键观点2: 研究方法

本研究提出了一种无索引稀疏神经网络硬件架构，结合二维半导体材料和FeFET技术实现高效、低能耗的稀疏计算。通过硬件设计、算法优化和训练调度的协同优化，实现了在75%稀疏性下98.4%的准确率。

关键观点3: 硬件设计

研究使用两个非易失性铁电场效应晶体管（FeFET）作为数字稀疏性和模拟权重的基本构建模块。采用化学气相沉积（CVD）生长的二维二硫化钼（MoS₂）作为沟道材料。通过调整铁电层厚度和铁电-介电面积比，优化稀疏性和权重FeFET的存储特性。

关键观点4: 算法优化

研究提出了一种向量化近似更新算法（VAU），通过向量级操作来近似传统的细胞级梯度更新，提高了稀疏神经网络的训练效率。同时，采用渐进式更新调度策略，通过预训练、剪枝、过度剪枝和重生等多个阶段，逐步优化稀疏神经网络的稀疏性和准确性。

关键观点5: 性能评估

关键观点6: 高亮成果

关键观点7: 结论与展望

免责声明