大模型日报（5月31日 学术篇）

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 学习 0 1 高能力全透明双语大语言模型MAP-Neo完全开源 数据处理pipeline：提供了预训练数据（包括OCR处理）、去重和基于Spark的分布式数据处理支持。 训练数据：使用4.5T高质量tokens进行训练，提供了详细的预训练语料库和训练代码。 模型架构和训练：包括分词器、基础模型和对齐模型的训练代码，解决了Megatron-LM框架的问题，支持大规模预训练。 模型Checkpoint：发布了中间Checkpoint，确保重现性。 评估和优化：提供了详细的评估代码和优化技巧。 MAP-Neo的开源为LLM研究提供了重要参考，特别是对非英语地区的研究者。 https://mp.weixin.qq.com/s/hKdufVyzAhxFKFIScT9YQA 02 ………………………………