端侧小模型新星，SmolLM2 1.7B击败了Llama 3.2、Qwen 2.5

文章预览

SmolLM2 开源了：更快、更好、更便宜，  包含三个尺寸： 135M、360M 和 1.7B。 端侧小型语言模型新星—— SmolLM2 1.7B 击败了 Qwen 2.5 1.5B 和 Llama 3.2 1B： Apache 2.0许可 训练于11万亿个令牌 在FineWeb-Edu、DCLM、The Stack以及新的数学和编码数据集上训练  专门用于文本重写、总结和函数调用  使用 UltraFeedback 的直接偏好优化（DPO） 可以在Q4上用不到2GB的VRAM运行 SmolLM2   1.7B https: / /huggingface.co/collections /HuggingFaceTB/smollm 2- 6723884218 bcda64b34d7db9 https: / /hf-mirror.com/ HuggingFaceTB/SmolLM2- 1.7 B-Instruc 推荐阅读 •  对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO •  2024：ToB、Agent、多模态 •  RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！ •  Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图） 欢迎关注我的公众号“ PaperAgent ”， ………………………………