PaddleOCR中TensorRT动态Shape优化问题解析与解决方案

问题背景

在使用PaddleOCR进行推理加速时，开发者经常会选择TensorRT作为加速引擎。然而，当启用TensorRT的动态Shape功能后，部分用户会遇到程序在"Run Paddle-TRT Dynamic Shape mode"阶段卡顿的问题。这种现象特别出现在已经生成了动态Shape文件(如trt_det_shape.txt等)的后续运行中，而首次运行时由于没有这些文件反而表现正常。

技术原理

TensorRT的动态Shape功能允许模型处理不同尺寸的输入，这对于OCR这类需要处理可变尺寸图像的任务尤为重要。PaddleOCR通过两个关键接口实现这一功能：

1. CollectShapeRangeInfo：收集输入数据的形状范围信息并保存到文件
2. EnableTunedTensorRtDynamicShape：加载预存的形状范围信息用于推理

当动态Shape范围设置过大时，TensorRT需要为可能的各种输入尺寸准备优化方案，这会显著增加引擎构建和优化的时间。

问题分析

卡顿现象主要源于以下技术细节：

1. 自动生成的Shape范围可能过大：自动收集的形状范围往往会包含实际推理中极少遇到的极端尺寸，导致TensorRT准备不必要的优化方案。

2. 重复优化开销：每次运行都会重新处理动态Shape信息，即使输入尺寸变化不大。

3. 内存管理开销：大范围的动态Shape需要预留更多显存资源。

解决方案

方案一：手动设置合理的动态Shape范围

// 设置最小/最优/最大输入尺寸
std::map<std::string, std::vector<int>> min_input_shape = {{"x", {1, 3, 32, 32}}};
std::map<std::string, std::vector<int>> max_input_shape = {{"x", {1, 3, 640, 640}}};
std::map<std::string, std::vector<int>> opt_input_shape = {{"x", {1, 3, 320, 320}}};

config.SetTRTDynamicShapeInfo(min_input_shape, max_input_shape, opt_input_shape);

方案二：优化自动生成的Shape文件

1. 首次运行时收集Shape信息后，分析生成的txt文件
2. 根据实际业务场景，手动调整其中的最小/最大尺寸范围
3. 使用调整后的文件进行后续推理

方案三：分阶段处理

对于稳定的业务场景，可以：

1. 开发阶段：使用动态Shape收集实际输入范围
2. 生产环境：固定使用收集到的常见尺寸范围

最佳实践建议

1. 监控输入尺寸：统计实际业务中的图像尺寸分布，确定合理的动态范围
2. 分模型优化：对检测、识别等不同模型分别设置适合的Shape范围
3. 性能测试：对不同Shape配置进行基准测试，找到性能与泛化能力的平衡点
4. 缓存优化：对于固定尺寸的批量处理，考虑使用静态Shape以获得最佳性能

总结

TensorRT的动态Shape功能是PaddleOCR性能优化的重要手段，但需要合理配置才能发挥最佳效果。通过理解其工作原理，结合实际业务场景调整Shape范围，开发者可以在模型泛化能力和推理速度之间找到最优平衡点。对于生产环境，建议在开发阶段充分收集输入数据特征后，使用经过优化的固定Shape范围配置。