南京大学Nature electronic: 无索引稀疏神经网络：开启高效低功耗AI新时代

主要观点总结

本文介绍了一种基于二维半导体铁电场效应晶体管（FeFET）的无索引稀疏神经网络（SPNN）硬件架构。通过结合硬件设计、算法优化和训练调度，实现了在75%稀疏性下98.4%的准确率，显著降低了稀疏神经网络在延迟和能耗方面的性能损耗。论文详细阐述了该架构的设计原理、实现方法和性能评估。

关键观点总结

关键观点1: 研究背景

随着人工智能技术的发展，构建高效、低能耗的神经网络成为当前研究热点。受生物大脑启发，稀疏神经网络通过模拟大脑中突触的动态稀疏性，提高了能量利用效率。然而，现有稀疏神经网络的实现往往依赖于外部索引，引入了额外的能耗和延迟。

关键观点2: 研究方法

本研究提出了一种无索引稀疏神经网络硬件架构，结合二维半导体材料和FeFET技术实现高效、低能耗的稀疏计算。通过硬件设计、算法优化和训练调度的协同优化，实现了在75%稀疏性下98.4%的准确率。

关键观点3: 硬件设计

研究使用两个非易失性铁电场效应晶体管（FeFET）作为数字稀疏性和模拟权重的基本构建模块。采用化学气相沉积（CVD）生长的二维二硫化钼（MoS₂）作为沟道材料。通过调整铁电层厚度和铁电-介电面积比，优化稀疏性和权重FeFET的存储特性。

关键观点4: 算法优化

研究提出了一种向量化近似更新算法（VAU），通过向量级操作来近似传统的细胞级梯度更新，提高了稀疏神经网络的训练效率。同时，采用渐进式更新调度策略，通过预训练、剪枝、过度剪枝和重生等多个阶段，逐步优化稀疏神经网络的稀疏性和准确性。

关键观点5: 性能评估

关键观点6: 高亮成果

关键观点7: 结论与展望

文章预览

点击蓝字   关注我们 为了方便各位同学交流学习，解决讨论问题，我们建立了一些微信群，作为互助交流的平台。 加微信交流群方式: 1.添加编辑微信:13162018291； 2.告知:姓名-课题组-研究方向，由编辑审核后邀请至对应交流群(生长，物性，器件)； 欢迎投稿欢迎课题组投递中文宣传稿，免费宣传成果，发布招聘广告，具体联系人：13162018291（微信同号） 【研究背景】 随着人工智能（AI）技术的飞速发展，构建高效、低能耗的神经网络成为当前科技领域的研究热点。传统的人工神经网络（ANN）普遍采用密集连接的方式，即每个神经元都与其他所有神经元相连接，这种方式虽然能够捕捉到数据中的复杂关系，但也导致了计算资源和能耗的极大浪费。尤其是在处理大规模数据集和复杂任务时，密集神经网络的计算复杂度和能耗问题变得尤为突出。 受生 ………………………………