【CMU博士论文】关于通过终任务感知训练实现资源高效的迁移学习

文章预览

来源：专知 本文 约2000字 ，建议阅读 5 分钟 本论文的结论部分将通过基于我们的既往工作，提出更多未来在资源高效迁移学习领域的研究方向，并建议一些新的研究分支。 迁移学习是一种机器学习（ML）范式，通过利用其他任务中的“知识”来提高对目标任务的性能。这项技术已成为推动机器学习模型能力边界扩展的关键动力。当前的公式相对简单——在大量迁移任务数据上训练一个大型模型；然后将所学的模型零样本或经过适应性调整后应用于目标下游任务。这篇论文认识到，这些强大的模型并不是在真空中开发的，而是需要大量资源来训练和部署。因此，有许多突出的问题和研究社区被现状所忽视。在这篇论文的第一部分中，我们将专注于数据高效迁移学习的训练时间问题。我们将从一个常见的ML情境出发，论证利用目标下游任务的高级知识 ………………………………