如何从头训练大语言模型: A simple technical report

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 涮月亮的谪仙人@知乎 写在前面 自8月底训好自己的1.5B的LLM后，一直都没有发布一个完整的技术报告，不少小伙伴私信我催更，千呼万唤始出来。其实也没有太大动力去做，原因有三： 豁然开朗：搞定全流程之后，对LLM确实豁然开朗不少，不过，发现要学的新东西更多了....尤其是这三个月，qwen, meta, anthropic等等发布的好文章实在太多了，真不想落下，没时间"反刍"当年的剩饭。 Reasoning兴趣：对reasoning更感兴趣了(其实训1.5B模型的初衷，就是为了给将来从pretrain开始做reason的增强打基础)。 保研季忙碌 ………………………………