如何给模型加入先验知识

文章预览

来源丨https://zhuanlan.zhihu.com/p/188572028 端到端的深度神经网络虽然能够自动学习到一些可区分度好的特征，但是往往会拟合到一些非重要特征，导致模型会局部坍塌到一些不好的特征上面。本文通过一个简单的鸟类分类案例来总结了五个给模型加入先验信息的方法。 模型加入先验知识的必要性 端到端的深度神经网络是个黑盒子，虽然能够自动学习到一些可区分度好的特征，但是往往会拟合到一些非重要特征，导致模型会局部坍塌到一些不好的特征上面。常常一些人们想让模型去学习的特征模型反而没有学习到。 为了解决这个问题，给模型加入人为设计的先验信息会让模型学习到一些关键的特征。下面就从几个方面来谈谈如何给模型加入先验信息。 为了方便展示，我这边用一个简单的分类案例来展示如何把先验知识加入到一个具体的task中。我们的ta ………………………………