专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
今天看啥  ›  专栏  ›  黄建同学

看了电子版前面两章,写的很不错!——GPT 系列模型的发展历程,-20250111203516

黄建同学  · 微博  · AI  · 2025-01-11 20:35
    

文章预览

2025-01-11 20:35 本条微博链接 看了电子版前面两章,写的很不错! —— GPT 系列模型的发展历程,有两点令人印象深刻。 第一点是可拓展的训练架构与学习范式:Transformer 架构能够拓展到百亿、千亿甚至万亿参数规模,并且将预训练任务统一为预测下一个词这一通用学习范式; 第二点是对于数据质量与数据规模的重视:不同于 BERT 时代的预训练语言模型,这次大语言模型的成功与数据有着更为紧密的关系,高质量数据、超 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览