【CMU博士论文】关于通过终任务感知训练实现资源高效的迁移学习

文章预览

迁移学习是一种机器学习（ML）范式，通过利用其他任务中的“知识”来提高对目标任务的性能。这项技术已成为推动机器学习模型能力边界扩展的关键动力。当前的公式相对简单——在大量迁移任务数据上训练一个大型模型；然后将所学的模型零样本或经过适应性调整后应用于目标下游任务。这篇论文认识到，这些强大的模型并不是在真空中开发的，而是需要大量资源来训练和部署。因此，有许多突出的问题和研究社区被现状所忽视。在这篇论文的第一部分中，我们将专注于数据高效迁移学习的训练时间问题。我们将从一个常见的ML情境出发，论证利用目标下游任务的高级知识来指导迁移学习的不同维度。我们将这种方法称为终任务感知迁移学习。接下来，我们将提出一组新的终任务感知优化算法，这些算法通过偏向数据高效的解决方案来引导学 ………………………………