如何从头训练大语言模型: A simple technical report

文章预览

↑ 点击 蓝字  关注极市平台 作者丨涮月亮的谪仙人@知乎 https://zhuanlan.zhihu.com/p/906819356 来源丨 深度学习自然语言处理 编辑丨极市平台 极市导读   本文作者对其训练1.5B参数大型语言模型（LLM）的全过程进行了技术性总结，涵盖了模型架构、预训练、后训练、基础设施和数据方面的详细讨论，并分享了在训练大型语言模型时的经验和见解。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 写在前面 自打8月底训好自己的1.5B的LLM后，一直都没有发布一个完整的技术报告，不少小伙伴私信我催更，千呼万唤始出来。其实也没有太大动力去做，原因有三: 搞定全流程之后，对LLM确实豁然开朗不少，不过，发现要学的新东西更多了....尤其是这三个月， qwen, meta,  anthropic等等发布的好文章实在太多了，真不想落下，没时间"反刍"当年的剩饭 对reansoning更 ………………………………