文章预览
首先，我们思考一个问题，为什么 qwen2 基本上是当下最受欢迎的开源模型？ 说实话，相比于 deepseek、llama、minicpm 这些诚意满满的技术报告，qwen2 的技术报告稍显一些“小家子气”，并没有提及到关键的技术细节。 然而，qwen2 提供给开源社区的“全家桶”套餐，又是多长的技术报告也比不上的。 对 llm 的研究者来说， 用相同 tokenizer，相同的 7T pretrain_data 得到的“一簇小 llm”，其研究价值远远超过 Qwen2-72B 本身！ 知乎: https://zhuanlan.zhihu.com/p/714399961 接下来，我们带着两个基本概念进入正文： 同源小模型：同 tokenizer，同训练数据下得到的 size 较小的llm 小模型：重点在于“小”，推理快或者本身就是分类模型，怎么训的完全无所谓。较小 size 的 llm，BERT，RoBERTa，Xgboost，LR 等等都可以称作小模型 同源小模型是大模型的实验场 scaling law 告诉我们：
………………………………
