深度｜Scaling Law 的发展历程，与数据受限问题的解决措施

文章预览

Preface 前言 Scaling Law，即规模法则。大模型的 Scaling Law 发展历程表明，随着模型规模、训练数据和计算资源的增加，模型性能会得到显著提升，并且这些关系遵循可预测的模式。但同时也遇到了数据受限等问题，业界对此提出了重复数据与合成数据两种方式，由此也带了许多启发。 本次将按照以下顺序介绍 ⬇️ Scale 中的 Scaling Law  ⬇️ OpenAI 首次提出大模型中的  S caling Law   ⬇️ DeepMind 改进 Scaling Law 公式  ⬇️ 对 Scaling Law 的实践和思考 ➡️ 数据受限下的 Scaling Law（重复数据、合成数据） The Development History 发展历程 1.1 Scale: The Universal Laws of Life, Growth, and Death in Organisms, Cities, and Companies（Geoffrey West，2017） Scale  提出了复杂系统中的简单法则，即Scaling law。 Scaling law 是一种描述系统随着规模的变化而发生的规律性变化的数学表达，这些规律通 ………………………………