燧原科技与飞桨大模型工具链完成推理 I 级适配

文章预览

近日， 燧原科技的新一代人工智能推理加速卡燧原S60与飞桨已完成大模型推理I 级兼容性测试，成为国内首家完成适配认证的芯片厂商。 这是燧原科技加入飞桨“硬件生态共创计划”后的阶段性成果。 本次推理 I 级兼容性测试完成了对大模型Llama-13B的验证。经过双方联合严格测试，燧原S60在Llama-13B模型上的精度、首字延迟及tokens吞吐率指标均达到飞桨大模型工具链I级认证要求，且兼容性良好，整体运行稳定，可以满足用户的实际应用场景需求。 飞桨大模型工具链适配认证是飞桨芯片适配认证标准的一部分，基于芯片+飞桨的大模型支持能力，针对调优、训练、推理等功能分别验证，在精度、性能、稳定性等维度设定验收要求，通过双方测试后发布兼容性证明。更多关于适配认证的具体内容可在以下链接中获取详细信息： 飞桨大模型工具链适配认 ………………………………