技术博客 | NVIDIA TensorRT 10.0 升级可用性、性能和 AI 模型支持

文章预览

NVIDIA 近期发布的  NVIDIA TensorRT ，一个用于高性能深度学习推理的 API 生态系统。该系统包括推理运行时和模型优化两大组件，为生产应用程序提供低延迟和高吞吐量的优化解决方案。 这篇文章概述了此版本的关键功能和升级，包括更容易的安装、更高的可用性、改进的性能以及更多本地支持的人工智能模型。  开发人员体验升级  得益于更新的 Debian 和 RPM 元包，使用 TensorRT 10.0 变得更加容易上手。例如，使用 >apt-get install tensorrt 或 pip install tensorrt  命令便可为 C++ 或 Python 安装所有相关的 TensorRT 库。 此外，Debug Tensors 是一个新添加的 API，用于在构建时将张量标记为调试张量。这样可以更容易地识别图形中出现的任何问题。在运行时，每次写入张量的值时，都会使用值、类型和维度调用一个用户定义的回调函数。 TensorRT 10.0 在 ONNX 解析器中包含 ………………………………