模型参数作知识通用载体，MergeNet离真正的异构知识迁移更进一步

文章预览

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 如 今，像 各种智能物联网（IoT）设备这样的 边缘计算设备无处不在。 然而，这些设备通常受限于有限的计算资源和存储容量，导致在这些设备上部署深度神经网络（DNNs）时，往往需要使用较小的神经网络架构。 虽然这些小型网络在计算上更为经济，但往往会牺牲一定的性能。 为了缓解这一限制，知识转移是解决方案之一。现有的知识转移方法主要有两种：知识蒸馏和迁移学习。 知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map，提高学生模 ………………………………