OLMo2全开源LLM，含数据、代码和训练过程

文章预览

自从2024年2月首次发布OLMo以来，我们见证了开放语言模型生态系统的快速增长，以及开放模型与专有模型之间性能差距的缩小。OLMo-0424相对于我们在2月份的首次发布，在下游性能上有了显著提升。我们还对完全开放模型开发的参与度增加感到兴奋，特别是包括LLM360的Amber、M-A-P的Neo模型和DCLM的基线模型。9月，我们发布了OLMoE，这是一个专家混合模型，也是其完全开放的同行中第一个位于性能和大小的帕累托前沿的模型。 因为完全开放的科学不仅仅需要开放的权重，我们很高兴分享新一轮的OLMo更新——包括权重、数据、代码、配方、中间检查点和指令调整模型——和更开放的语言建模社区！ 地址：https://github.com/allenai/OLMo OLMo 2发布 OLMo 2正式发布，一个新系列的 7B 和 13B 模型，训练了高达 5T 的token。这些模型与同等大小的完全开放模型相当或更好， ………………………………