【斯坦福博士论文】基础模型的数据分布视角，321页pdf

文章预览

基础模型（Foundation Models）是一类新兴的大规模机器学习模型，可以适用于各种任务。这些模型依赖于大规模数据训练，因此，高质量的数据集对于基础模型的准确性、鲁棒性和训练效率至关重要。然而，策划这些数据集的方法通常是临时的，基于启发式的，并且需要大量的人工努力。在本论文中，我们提出了一些系统性的方法来理解和改进用于训练基础模型的数据。作为一个核心主题，我们从分布变化的角度探讨了从广泛的预训练数据到任务特定的适应数据的泛化问题。 首先，我们分析了视觉和语言领域的各种基础模型预训练设置，包括对比预训练、多任务学习、掩码语言建模和自回归语言建模，并展示了在每种设置中，预训练可以证明提高准确性、增强鲁棒性，并使模型在下游任务中具有上下文学习的能力。在我们的分析中，我们广泛展示了 ………………………………