TensorRT-LLM：最佳部署实践

文章预览

作者 | oldpan  编辑 | oldpan博客 点击下方 卡片 ，关注“ 自动驾驶Daily ”公众号 戳我->  领取近15个自动驾驶方向路线 >> 点击进入→ 自动驾驶Daily技术交流群 本文只做学术分享，如有侵权，联系删文 ，自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询   本篇文章根据 NVIDIA AI技术开放日 2024 夏 [1] 中 TRT-LLM 最佳部署实践 [2] 的演讲，结合自己的一些经验整理成本篇文章，算是TensorRT-LLM初探第三篇——最佳部署实践。 下文图片PPT部分皆来源于 TRT-LLM 最佳部署实践 [3] 。 之前两篇的传送门： TensorRT-LLM初探（一）基于最新commit运行llama，以及triton-tensorrt-llm-backend [4] TensorRT-LLM初探（二）简析了结构，用的更明白 [5] 本篇根据讲座的内容也大概分为以下几点： TensorRT-LLM介绍 端到端workflow 如何debug 如何添加新的模型 TRT-LLM简 ………………………………