基础篇| 大模型部署框架

程序猿阿三 · 公众号 · · 2024-08-29 09:00

文章预览

点击蓝字关注我们不迷路 01 背景上一篇《基础篇| 全网最全详解12个大模型推理框架》,我们一起学习了推理框架，今天我们一起学习大模型部署框架。为什么要有大模型部署框架? 为什么有了推理框架，还要来一个什么部署框架？上节内容我们介绍了有12种大模型推理框架，虽然多，但是现在业界尚不存在各方面都远超其同类产品的推理框架，不同推理引擎在不同平台，硬件和模式下分别具有各自的优势，比如TensorRT有足够多的灵活性，在GPU执行时可以共享上下文，可以使用外部内存用于推理等，OpenVINO有高吞吐率模式，可以CPU与GPU异构设备同时推理。作为应用开发者，为了实现最优效率，如果针对不同环境都写一套代码去适配其最优推理框架，其耗费的学习成本和精力及代码量都将极其巨大。这时候有大模型部署框架用武之地，大模型部 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

成都日报 · 三星堆，重要进展！

14 小时前

史事挖掘机 · 全世界最幸福的5个国家

3 天前

鱼羊史记 · 安禄山48岁生日后3天，李隆基听到后宫喧笑好奇询问，太监：“贵妃给禄儿洗三”，李隆基高兴地去观看，一家三口尽欢而罢

4 天前

医脉通 · 急诊患者为了尽早看病假装胸痛被带去抢救室后，那名医生的做法绝了……

4 月前

慧通数据 · 大势已去？进口、国产鱼粉暴跌，跌势何时休！

4 月前