RF-DETR项目中如何为检测结果添加类别标签注释

在计算机视觉目标检测任务中，可视化检测结果时，仅显示边界框和类别ID往往不够直观。本文将介绍如何在RF-DETR项目中使用COCO数据集类别信息，为检测结果添加可读的类别标签注释。

检测结果可视化基础

RF-DETR是一个基于DETR架构的目标检测模型，其检测结果通常包含以下关键信息：

• 边界框坐标(xyxy格式)
• 检测置信度
• 类别ID
• 可能的跟踪ID(如果启用了跟踪功能)

这些信息虽然完整，但直接展示给用户时，类别ID的数字表示不够友好，需要转换为可读的类别名称。

COCO数据集类别映射

COCO(Common Objects in Context)是计算机视觉领域广泛使用的基准数据集，包含80个常见物体类别。RF-DETR项目内置了COCO_CLASSES字典，可以方便地将类别ID映射为人类可读的类别名称。

实现步骤详解

1. 导入必要模块： 首先需要导入RF-DETR基础模型、COCO类别映射、Supervision可视化工具以及图像处理模块。

2. 加载图像和模型： 使用Pillow库加载待检测图像，并初始化RF-DETR模型。

3. 执行目标检测： 调用模型的predict方法获取检测结果，可以设置置信度阈值过滤低质量检测。

4. 准备可视化工具： 创建边界框标注器和标签标注器实例，后者可以智能调整标签位置避免重叠。

5. 生成标签文本： 将类别ID和置信度组合成格式化的标签字符串，如"dog 0.95"。

6. 执行标注并保存结果： 在原图副本上依次添加边界框和标签标注，生成最终的可视化结果。

完整代码示例

from rfdetr import RFDETRBase
from rfdetr.util.coco_classes import COCO_CLASSES
import supervision as sv
from PIL import Image

# 加载图像和模型
image = Image.open("example.jpg")
model = RFDETRBase()

# 执行检测
detections = model.predict(image, threshold=0.5)

# 初始化标注器
bbox_annotator = sv.BoxAnnotator()
label_annotator = sv.LabelAnnotator(smart_position=True)

# 生成标签文本
labels = [
    f"{COCO_CLASSES[class_id]} {confidence:.2f}"
    for class_id, confidence
    in zip(detections.class_id, detections.confidence)
]

# 执行标注
annotated_image = image.copy()
annotated_image = bbox_annotator.annotate(annotated_image, detections)
annotated_image = label_annotator.annotate(annotated_image, detections, labels)

技术要点说明

1. Supervision库：提供了强大的可视化工具，支持边界框、标签、掩码等多种标注方式。

2. 智能标签位置：LabelAnnotator的smart_position参数可以自动优化标签位置，避免遮挡重要视觉信息。

3. 置信度格式化：将浮点型置信度格式化为两位小数，既保证信息完整又避免显示过于冗长。

4. 图像处理流程：在原图副本上操作，保留原始图像数据不受影响。

实际应用建议

1. 对于自定义数据集，可以类似地创建自己的类别映射字典。

2. 根据应用场景调整标签显示格式，如添加跟踪ID、省略置信度等。

3. 对于密集场景，可以调整标签字体大小或启用更复杂的避让算法。

通过这种方式，可以显著提升目标检测结果的可读性和实用性，便于算法调试和结果展示。