论文阅读 | Scaling Laws for Transfer

文章预览

论文阅读 | Scaling Laws for Transfer 作者：张义策 文章地址：https://zhuanlan.zhihu.com/p/710594520 An Empirical Study of Scaling Laws for Transfer 论文地址：https://arxiv.org/abs/2408.16947 这是axriv上的一篇文章，作者来自Epoch AI。 预训练到下游任务的知识迁移 为了在下游任务上取得高性能，一个标准做法是先在一个规模大、多样化的语料上预训练一个基座模型，然后在特定的下游任务上微调。这里的微调也可以使用In-context Learning方法代替。这些方法的有效性取决于从预训练到下游任务的知识迁移程度。迁移程度高，那么微调的成本可以低些；反之，我们就需要多构建一些高质量的微调数据。 本文的目的是研究上述知识迁移过程的Scaling Laws。本文首先使用一个公式来建模预训练和微调对下游任务的影响，然后在多个下游任务上进行实验对这个公式中的参数进行估计，并展开 ………………………………