PaddleDetection中RT-DETRv2模型导出问题分析与解决方案

问题背景

在使用PaddleDetection框架进行RT-DETRv2模型导出时，开发者可能会遇到模型导出失败的问题。该问题主要表现为在运行导出命令后，程序抛出AssertionError异常，提示"Each dimension value of 'shape' in reshape must not be negative except one unknown dimension"。

问题现象

当执行RT-DETRv2模型导出命令时，系统会报错并终止导出过程。错误信息显示在模型转换过程中，某个reshape操作的维度出现了负值（-8），这违反了PaddlePaddle框架对reshape操作维度的约束条件。

问题原因分析

经过技术分析，该问题主要由以下几个因素导致：

1. 动态shape支持不足：RT-DETRv2模型中的某些操作对输入shape的动态性支持不够完善，导致在模型导出时出现维度计算错误。

2. PaddlePaddle版本差异：从PaddlePaddle 3.0-beta2版本开始，框架默认启用了PIR（Program IR），使用json格式代替了传统的pdmodel格式存储模型，这可能导致部分旧版推理代码兼容性问题。

3. 模型架构特殊性：RT-DETRv2模型中使用了特殊的变形注意力机制（deformable attention），这种机制在模型导出时对shape处理有特殊要求。

解决方案

针对上述问题，我们提供以下几种解决方案：

方案一：指定固定输入shape

在导出模型时，通过添加参数显式指定输入shape：

python tools/export_model.py -c configs/rtdetrv2/rtdetrv2_r50vd_6x_coco.yml \
              -o weights=模型权重路径 \
              TestReader.inputs_def.image_shape=[1,3,640,640] \
              --output_dir=输出目录

方案二：使用旧版PaddlePaddle

对于需要使用传统pdmodel格式的场景，可以：

1. 安装PaddlePaddle 2.6版本
2. 或者在导出时设置环境变量：

export FLAGS_enable_pir_api=0

方案三：修改模型代码

对于高级用户，可以直接修改模型代码中shape处理的部分，将动态shape替换为固定值。但这种方法需要对模型架构有深入理解，不建议普通用户尝试。

注意事项

1. 使用新版本PaddlePaddle导出的模型为json格式，与传统pdmodel格式不同，但功能等效。

2. 如果使用C++进行推理部署，需要确保：

   • 使用最新的Paddle Inference C++ SDK
   • 在需要传入模型文件的地方传入json格式文件
   • 或修改推理代码适配新格式

3. RT-DETRv1模型导出通常不会遇到此问题，这是v2版本特有的问题。

总结

RT-DETRv2模型导出问题主要源于模型架构的特殊性和框架版本变化。通过指定固定输入shape或调整PaddlePaddle版本，可以有效解决导出失败的问题。对于生产环境部署，建议根据实际推理需求选择合适的解决方案，并确保推理环境与导出环境的一致性。