【精选报告】DeepSeek专题二：DeepSeek LLM: 以长远主义扩展开源语言模型（附PDF...

文章预览

DeepSeek： 《 DeepSeek LLM: 以长远主义扩展开源语言模型 》 （完整版.pdf ） 以下仅展示部分内容 O 后台回复“ 202503102 ”就可以获取 《 DeepSeek LLM: 以长远主义扩展开源语言模型 》（完整版)   的全文下载链接。 DeepSeek LLM: 以长远主义扩展开源语言模型 DeepSeek-AI research@deepseek.com 摘要 开源大型语言模型（LLM）的快速发展十分显著。然而，以往文献中描述的扩展法则（scaling laws）得出了不同的结论，使得LLM的扩展之路充满了不确定性。我们深入研究了扩展法则，并提出了有助于在两种常用开源配置（7B和67B）中扩展大规模模型的独特发现。在这些扩展法则的指导下，我们引入了DeepSeek LLM，这是一个以长远视角推动开源语言模型进步的项目。 为了支持预训练阶段，我们开发了一个目前包含两万亿（2 trillion）tokens的数据集，并在持续扩充之中。我们还对DeepSee ………………………………