什么是NVIDIA TensorRT？

NVIDIA TensorRT 是 人工智能加速平台 它为深度学习应用提供卓越的性能和快速的推理速度。它是一款高性能的深度学习推理优化器和运行时环境，适用于人工智能模型的生产部署。

借助 NVIDIA TensorRT，您可以快速优化训练好的神经网络并将其部署到生产环境中，从而实现以下功能： 更快更准确的推理NVIDIA TensorRT 使开发人员能够在生产环境中优化、验证和部署训练好的深度学习模型，从而显著提高推理性能。

它采用了高度优化的图结构，例如 层融合， 内核自动调优， 和 支持半精度 FP16与仅使用 CPU 的平台相比，该平台可将模型推理速度提升高达 100 倍。此外，它还内置支持 NVIDIA GPU，并可与流行的深度学习框架（例如）配合使用。 TensorFlow 和 PyTorch。

NVIDIA TensorRT 非常适合需要在生产环境中快速优化和部署训练好的深度学习模型的开发人员和数据科学首页。

使用案例和功能

1. 推理速度提升至 100倍 采用 NVIDIA TensorRT 技术。

2. 快速优化、验证和部署已训练的深度学习模型。

3. 与流行的深度学习框架兼容，例如 TensorFlow 和 PyTorch。