【深度学习】深度学习多目标优化的多个loss应该如何权衡

文章预览

作者丨马东什么@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/362330594 编辑丨极市平台 导读   本文介绍了一篇关于多任务学习的综述，详细介绍了文章中关于多任务学习的两个主要研究方向：task balancing和其他。 看了那么多篇理论慢慢的paper，终于找到一篇比较有工程意义的paper了。 对于应用来说，这样比较简单直接的survey才是王道啊！感觉之前看的多任务的survey公式和定理太多，还是这样的文章比较能够帮助快速上手解决问题。 当然这里主要还是介绍optimization strategy部分。 这篇文章提到了多任务学习的两个主要研究方向： 1、多任务学习的网络结构的构造； 2、多任务学习对标的多目标优化的方法； 大体上分为两种： 1、task balancing； 2、others。。。。 MTL中的一个重大挑战源于优化过程本身。特别是，我们需要仔细平衡所有任务的联合训练过程 ………………………………