Karpathy称赞，从零实现LLaMa3项目爆火，半天1.5k star

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 机器之心 编辑 | 杜伟、陈萍 项目中代码很多很全，值得细读。 一个月前，Meta 发布了开源大模型 llama3 系列，在多个关键基准测试中优于业界 SOTA 模型，并在代码生成任务上全面领先。 此后，开发者们便开始了本地部署和实现，比如 llama3 的中文实现 、llama3 的纯 NumPy 实现等。 十几个小时前，有位名为「Nishant Aklecha」的开发者发布了一个从零开始实现 llama3 的存储库，包括跨多个头的注意力矩阵乘法、位置编码和每个层在内都有非常详细的解释。 该项目得到了大神 Karpathy 的称赞，他表示项目看起 ………………………………