专栏名称: 计算机视觉之路
今天看啥  ›  专栏  ›  计算机视觉之路

【GEB-1.3B:开源轻量级大型语言模型】

计算机视觉之路  · 公众号  ·  · 2024-06-19 15:33
    

文章预览

GEB-1.3B: Open Lightweight Large Language Model http://t.cn/A6QUDPq8 GEB-1.3B 是一个开源的轻量级大型语言模型,它在CPU上运行效率很高,并且采用了一些新颖的技术进行训练。根据搜索结果,GEB-1.3B 模型特别优化了在普通CPU上的运行,以解决现有大型语言模型在资源需求、计算能力和响应延迟方面的限制。它拥有1.3B参数规模,性能可以媲美7B模型,并且能够在端侧轻松部署。此外,该模型支持在CPU上推理运行,在消费级显卡上训练微调,实现了低成本的训练和部署。 GEB-1.3B 还具备快速响应的能力,在CPU上实现每秒10字的推理速度,无需高性能计算资源即可快速响应用户请求。它被视为大模型落地的一站式解决方案,集异璧大模型服务,覆盖大模型应用开发链路所有环节,整合基础技术支撑能力,帮助企业构建专属大模型及智能应用。 此外,还有提及到GEB-1.3 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览