py-RFCN-priv项目中的Faster R-CNN端到端训练网络架构解析

网络架构概述

py-RFCN-priv项目中的VGG_CNN_M_1024模型是一个基于Faster R-CNN框架的目标检测网络，采用端到端(end-to-end)的训练方式。该网络结构主要包含以下几个核心组件：

1. 基础特征提取网络(VGG_CNN_M_1024)
2. 区域建议网络(Region Proposal Network, RPN)
3. ROI池化层(ROI Pooling)
4. 分类和回归网络

基础特征提取网络

网络的基础特征提取部分采用VGG_CNN_M_1024结构，包含5个卷积层和2个全连接层：

layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 0  # 不更新权重
    decay_mult: 0
  }
  convolution_param {
    num_output: 96
    kernel_size: 7
    stride: 2
  }
}

• 第一层卷积使用7×7的大核，步长为2，快速下采样
• 每层卷积后接ReLU激活函数和局部响应归一化(LRN)
• 使用最大池化层逐步减小特征图尺寸

区域建议网络(RPN)

RPN是Faster R-CNN的核心创新，用于生成候选区域：

layer {
  name: "rpn_conv/3x3"
  type: "Convolution"
  bottom: "conv5"
  top: "rpn/output"
  convolution_param {
    num_output: 256
    kernel_size: 3 pad: 1 stride: 1
  }
}

RPN包含以下关键组件：

1. 3×3卷积层提取特征
2. 分类分支(rpn_cls_score)预测每个锚点(anchor)的前景/背景概率
3. 回归分支(rpn_bbox_pred)预测边界框偏移量

ROI处理流程

1. ROI生成：通过ProposalLayer将RPN输出转换为候选区域
2. ROI池化：将不同大小的候选区域统一为固定大小(6×6)

layer {
  name: "roi_pool5"
  type: "ROIPooling"
  bottom: "conv5"
  bottom: "rois"
  top: "pool5"
  roi_pooling_param {
    pooled_w: 6
    pooled_h: 6
    spatial_scale: 0.0625 # 1/16
  }
}

分类与回归网络

ROI池化后的特征通过两个全连接层(fc6, fc7)进一步处理：

layer {
  name: "fc6"
  type: "InnerProduct"
  bottom: "pool5"
  top: "fc6"
  inner_product_param {
    num_output: 4096
  }
}

最后分为两个分支：

1. 分类分支(cls_score)：输出81类概率(COCO数据集)
2. 回归分支(bbox_pred)：输出324维向量(81类×4个坐标值)

损失函数设计

网络采用多任务损失函数：

1. RPN分类损失(SoftmaxWithLoss)
2. RPN回归损失(SmoothL1Loss)
3. 最终分类损失(SoftmaxWithLoss)
4. 最终回归损失(SmoothL1Loss)

layer {
  name: "loss_cls"
  type: "SoftmaxWithLoss"
  bottom: "cls_score"
  bottom: "labels"
  top: "loss_cls"
  loss_weight: 1
}

训练技巧

1. 学习率策略：通过lr_mult参数控制不同层的学习率
2. 权重初始化：使用高斯分布初始化卷积和全连接层权重
3. 数据增强：通过RoIDataLayer实现训练时的数据增强
4. 难例挖掘：在损失计算时自动关注困难样本

总结

py-RFCN-priv中的这个Faster R-CNN实现展示了端到端目标检测网络的典型架构，通过共享卷积特征和联合训练RPN与检测网络，实现了高效且准确的目标检测。网络设计考虑了计算效率和检测精度的平衡，适合在中等规模的数据集(如COCO)上进行目标检测任务。