别再拿架构说事儿了!OpenAI工程师实锤: 数据即模型

文章预览

jbetker在OpenAI 工作近一年，观察到生成模型的训练过程显示模型行为主要由数据集决定 ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ jbetker一线观察 - 作者训练了大量生成模型， 观察到所有训练运行之间存在相似性   - 模型高度逼近其数据集  - 模型行为不由架构、超参数或优化器选择决定，而是由数据集决定， 其他因素只是有效地将计算交付给逼近数据集的手段 详细信息 ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ 这哥们在过去一年的OpenAI工作经历中,不断地训练各种生成式AI模型,规模之大令人咂舌。在这个过程中,渐渐发现了一个惊人的现象: 无论你采取何种模型架构、超参数设置或优化方法,只要基于同一训练数据集进行充分的训练,最终模型的行为输出都将收敛到一个相近的结果 这就意味着,影响AI模型行为的决定性因素,并非其架构或配置参数,而是作为模 ………………………………