TensorRT C++ API 引擎加载问题分析与解决方案

问题背景

在使用TensorRT 10进行模型推理时，开发者遇到了一个典型问题：虽然能够成功通过Python API将ONNX模型转换为TensorRT引擎并运行推理，但在C++ API中却无法正确加载引擎文件。这个问题在TensorRT 8.6版本中并不存在，但在升级到TensorRT 10后出现。

错误现象

开发者遇到了两种主要的错误情况：

1. 引擎反序列化失败：当尝试加载预先生成的TensorRT引擎文件时，出现错误提示"Unexpected call to stub loadRunner for ShuffleRunner"。

2. 引擎构建失败：当直接从ONNX模型构建引擎时，出现"virtualMemoryBuffer.cpp"相关的CUDA驱动内部错误，以及内存不足的警告信息。

根本原因分析

经过深入调查，发现问题源于Visual Studio项目配置中的库链接方式。开发者同时链接了多个TensorRT运行时库：

• nvinfer_10
• nvinfer_lean_10
• nvinfer_dispatch_10

根据TensorRT的架构设计，运行时只能加载一个运行时库。多个运行时库同时存在会导致冲突，引发上述错误。

解决方案

正确的做法是仅链接主运行时库nvinfer（在TensorRT 10中为nvinfer_10），而不需要同时链接精简版(lean)和分发版(dispatch)的运行时库。

最佳实践建议

1. 库链接规范：在Visual Studio项目中，只添加nvinfer_10.lib作为依赖项，移除其他TensorRT运行时库。

2. 内存配置：根据模型大小合理设置工作空间内存限制，避免因内存不足导致引擎构建失败。

3. 环境验证：使用简单的CMake项目验证TensorRT安装是否正确，这可以帮助隔离环境配置问题。

4. 日志检查：充分利用TensorRT的日志系统，设置适当的日志级别以获取详细的错误信息。

总结

TensorRT的不同运行时库设计用于特定场景，普通用户通常只需要使用主运行时库。在项目配置时，理解各个库的作用并正确选择依赖项至关重要。通过规范化的库链接方式，可以避免许多看似神秘的运行时错误。

对于Windows平台开发者，建议参考TensorRT官方文档中的运行时选项说明，确保项目配置符合TensorRT的架构设计要求。当遇到类似问题时，首先检查库依赖关系往往是解决问题的有效切入点。