AMD开源30亿小参数模型，媲美Qwen-2.5

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ AMD在官网开源了最新小参数模型Instella-3B。比较特别的是，这是一个基AMD Instinct™ MI300X GPU从头训练的模型。 根据测试数据显示，Instella-3B的性能超过了Llama-3.2-3B、Gemma-2-2B，可以媲美阿里开源的Qwen-2.5-3B，这也证明了AMD的GPU也能训练出高性能的大模型。 开源地址：https://huggingface.co/amd/Instella-3B Instella-3B-SFT是经过监督微调的模型，使用了89.02亿tokens的数据，增强了遵循指令的能力。Instella-3B-Instruct则是经过直接偏好优化的模型，使用了7.6亿tokens的数据，使模型的输出更符合人类偏好，增强了聊天能力。 架构方面，Instella模型是基于文本的自回归Transformer架构，拥有30亿参数，包含36个解码器层，每层有3 ………………………………