高能力全透明双语大语言模型MAP-Neo完全开源，开放所有细节！

文章预览

01 引言 近年来，大型语言模型 (LLMs) 在各种任务中取得了前所未有的性能提升。然而，由于商业利益，最强大的模型（如 GPT、Gemini 和Claude）只能通过API访问，并未公开训练细节。 最近，许多机构开源了一些与现有闭源 LLM 相媲美的LLM，例如LLaMA-3，大大推动了开源 LLM 社区的发展。然而，大多数情况下的开源仅提供模型权重，而详细的中间Checkpoint、预训练语料库和训练代码等信息并未披露。为了提高 LLM 的透明度，研究界已经形成了开源真正开放的 LLM（例如Pythia、Amber 和OLMo）的趋势，这些模型提供了更多的详细信息（例如预训练语料库和训练代码）。 这些模型大大推进了对这些大模型的科学研究，包括它们的优势、劣势、偏见和风险。然而，M-A-P社区观察到现有的真正开放的 LLM 在推理、知识和编码任务上仍然不如具有类似模型大小的最先进的 L ………………………………