ICLR最佳论文：训练神经网络就像买彩票？

文章预览

我们现在所使用的神经网络模型，可能有 80% - 90% 的体积是多余的， 这浪费了巨大的处理能力。   近日， 麻省理工学院的计算机科学与人工智能实验室（MIT CSAIL）公布了一项新的研究成果， 用富有创意的“彩票机制”修剪了传统神经网络模型， 选择性地剔除了对结果意义不大的连接（权重），使其变为更小的子神经网络。   最终，在保证预测准确率前提下，他们将实验中的子网络模型的体积减少了 80% - 90%，进而降低了对训练数据量和硬件的需求，而且学习速度还有所提升。 研究团队将这一方法称为 “彩票假设（Lottery Ticket Hypothesis）” ，成果以论文形式发表在最近召开的 ICLR 2019 大会上，并且被评选为两篇最佳论文之一。《麻省理工科技评论》报道了这一成果， ………………………………