超大规模多模态-预训练模型的训练方法 2025

文章预览

欢迎关注 1. 超大规模预训练模型的发展现状 图 2.1-5 预训练语言模型参数量增加规律 近年来，预训练语言模型的发展呈指数型增强，参数规模的增长 也呈现出这种规律。GPT-3 是首个发布的超大规模语言模型，使用自 回归的方法和超大规模的数据进行训练，呈现出了强大的通用性和少 样本学习的能力，为通用人工智能的实现打开了一个窗口。 在国内，清华大学和智源研究院合作发布悟道大模型，是中文超 大规模预训练的排头兵；华为云由底层向上逐步研发，开源了盘古大 模型；中科院自动化研究所提出千亿规模的多模态预训练模型，应用 场景广泛。参数量的增加不仅显著提升了模型通用能力，也彰显了中 国人工智能发展的速度和水平。 (2) 超大规模预训练模型的训练方法 超大规模的预训练模型往往具备参数量巨大的特点，如 GPT-3 足 足有 1750 ………………………………