PaddleDetection中多模型投票NMS结果融合的优化实践

背景介绍

在目标检测任务中，当面临大规模数据集时，由于计算资源和存储空间的限制，开发者常常需要采用分批训练的策略。这种策略下，模型会被分成多个批次进行训练，最终通过非极大值抑制(NMS)融合各模型的检测结果。然而，在实际应用中，这种融合方式可能会导致性能指标意外下降。

问题分析

在PaddleDetection框架中，特别是使用DETR系列模型(如RT-DETR)时，多模型结果融合面临以下技术挑战：

1. 特征空间不一致：不同批次训练的模型可能学习到不同的特征表示，导致预测结果难以有效融合
2. 后处理差异：DETRPostProcess的参数设置(如num_top_queries)会影响最终输出框的质量和数量
3. 置信度分布变化：各模型输出的置信度分布可能存在差异，简单的NMS融合可能无法保留最优预测

解决方案探索

方案一：调整NMS阈值

初始尝试通过设置0.5的置信度阈值筛选低质量预测框，但发现：

• 单独模型和融合模型使用相同阈值时，性能下降问题依然存在
• 简单的阈值过滤无法解决特征空间不一致的根本问题

方案二：特征层融合替代结果层融合

考虑在RTDETRTransformer的num_queries阶段进行特征平均，而非在DETRPostProcess后进行NMS融合。这种方案理论上可以：

• 保持特征空间的一致性
• 避免后处理阶段的信息损失
• 但实现复杂度较高，需要修改模型架构

方案三：采用加权框融合(WBF)算法

最终采用的解决方案是使用weighted_boxes_fusion替代传统NMS：

• WBF算法综合考虑多个预测框的置信度和位置信息
• 通过加权平均保留更多有价值的信息
• 对预测框之间的微小差异具有更好的鲁棒性

实施建议

对于PaddleDetection用户面临类似问题时，建议：

1. 数据预处理一致性：

   • 确保各批次数据的分布尽可能一致
   • 检查图像尺寸归一化参数(norm)的设置

2. 模型参数调整：

   • 合理设置RTDETRTransformer中的num_queries参数
   • 调整DETRPostProcess的num_top_queries以平衡召回率和准确率

3. 融合算法选择：

   • 优先尝试weighted_boxes_fusion等先进融合算法
   • 可视化融合前后的检测框对比分析问题

4. 训练策略优化：

   • 考虑使用模型蒸馏技术统一特征空间
   • 尝试在最后几轮进行全数据微调

总结

在PaddleDetection框架下处理大规模数据时，分批训练+结果融合是一种实用的解决方案。通过采用加权框融合等先进技术，可以有效解决传统NMS融合导致的性能下降问题。开发者应当根据具体场景选择合适的融合策略，并通过可视化分析不断优化融合效果。