HF与OpenAI“分道扬镳” | 开源SmolLM2系列端侧135M小模型，每秒180tokens！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “   虽然OpenAI和Anthropic等公司通过越来越庞大的模型突破了界限，但人们越来越认识到需要一些高效、轻量级的大模型，它们可以在设备本地运行。 毕竟我们的真实场景中有着形形色色的端侧产品，它们也需要借助大模型的能力变得更加智能。    越来越大的大语言模型已经将许多潜在用户甩在了后面。 运行这些模型通常需要昂贵的云计算服务，这些服务也有自己的问题： 响应时间慢、数据隐私风险和小公司和独立开发人员根本负担不起的高昂成本。 SmolLM2是一个轻量级大语言模型系列，它包含三种尺寸：135M、360M和1.7B参数。它们能够解决各种各样的任务，同时足够轻，可以在各种端侧设备上面运行。 ” HF链接 - https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct 代码链接 - ………………………………