TPAMI 2024 | 何恺明都没有想到！在残差神经网络里面加入扩散机制

文章预览

本文转自：AI学术工坊 题目：Diffusion Mechanism in Residual Neural Network: Theory and Applications 残差神经网络中的扩散机制：理论与应用 作者：Tangjun Wang; Zehao Dou; Chenglong Bao; Zuoqiang Shi 源码链接：https://github.com/shwangtangjun/Diff-ResNet 摘要 扩散是一种在许多物理过程中出现的基本内部机制，描述了不同对象之间的相互作用。在许多训练样本受限的学习任务中，扩散将标记和未标记的数据点连接起来，是实现高分类精度的关键组成部分。许多现有的深度学习方法在训练神经网络时直接施加融合损失。在这项工作中，受对流-扩散常微分方程（ODEs）的启发，我们提出了一种新颖的扩散残差网络（Diff-ResNet），将扩散内部引入到神经网络的架构中。在结构化数据的假设下，证明了所提出的扩散块可以增加距离直径比，这提高了类间点的可分性，并减少了局部类内点之间 ………………………………