PaddleDetection 车道线检测实战:CLRNet 跨层细化网络在 CULane 数据集上的训练、评估与推理全指南

原创2026-09-21 18:32:351,703 阅读
文章标签:计算机视觉深度学习人工智能机器学习模型量化模型蒸馏

PaddleDetection 车道线检测实战:CLRNet 跨层细化网络在 CULane 数据集上的训练、评估与推理全指南

导读

本文以 PaddleDetection 内置的 CLRNet(Cross Layer Refinement Network for Lane Detection)车道线检测模型为核心,完整讲解其算法原理、模型结构与配置文件,并给出在 CULane 车道线数据集上从数据准备、单卡/多卡训练、评估到推理的完整可复现流程。读完本文,你将掌握 CLRNet 的直线先验轨迹设计、车道线 IoU 与 NMS 机制、FPN 多尺度上下文融合思想,以及如何基于 CLRNet 配置目录 一键训练自己的车道线检测模型。

CLRNet 算法简介

CLRNet 是发表于 CVPR 2022 的车道线检测模型,论文题为 CLRNet: Cross Layer Refinement Network for Lane Detection。该模型为车道线检测设计了一组直线先验轨迹(line-prior),并配套设计了车道线专用的 IoU 与 NMS 方法;同时通过融合高层语义上下文特征与底层细节特征,借助 FPN 多尺度结构进行逐步细化(refine),在车道线检测相关数据集上取得了当时的 SOTA 性能。

从 PaddleDetection 源码结构看,CLRNet 的完整实现分布在以下几个模块中,构成了"骨干网络 → 特征金字塔 → 检测头 → 损失函数"的完整链路:

核心思想:直线先验 + 跨层细化

在 clrnet_head.py 的 CLRHead 初始化中可以看到,模型通过 prior_embeddings 学习一组可学习的先验(priors),每个先验由 2 + 2 + 2 + n_offsets 维向量描述(2 个分类得分、起始点坐标、角度、长度以及 72 个采样点坐标)。这些先验以直线形式作为车道线轨迹的初始假设,随后在网络各层不断被细化、修正为贴合真实车道线的曲线。

模型的细化过程体现在 refine_layers 参数上(默认 3),配合 ROIGather 模块在多层特征金字塔上重复采样、聚合上下文特征并回归修正,这正是"Cross Layer Refinement"名称的由来——高层特征提供语义上下文(判断"这是一条车道线"),低层特征提供精细几何细节(判断"车道线具体弯在哪")。

模型库与 CULane 精度

原文档给出了 CLRNet 在 CULane 数据集上的官方复现结果,使用 ResNet-18 作为骨干网络:

骨架网络 mF1 F1@50 F1@75 配置文件
ResNet-18 54.98 79.46 62.10 clrnet_resnet18_culane.yml

其中:

  • mF1:CULane 官方评测体系下的平均 F1 分数(对不同场景子集加权平均),是车道线检测最常用的综合指标;
  • F1@50 / F1@75:在 IoU 阈值分别为 0.50 / 0.75 下的 F1 分数,反映了模型在不同定位精度要求下的表现。

配置文件深度解析

CLRNet 的配置遵循 PaddleDetection 的 _BASE_ 继承机制,clrnet_resnet18_culane.yml 仅是一个入口文件,真正的内容分布在 5 个基础配置中:

_BASE_: [
  '../datasets/culane.yml',
  '_base_/clrnet_reader.yml',
  '_base_/clrnet_r18_fpn.yml',
  '_base_/optimizer_1x.yml',
  '../runtime.yml'
]

weights: output/clr_resnet18_culane/model_final

1. 数据集与评测配置(configs/datasets/culane.yml)

metric: CULaneMetric
num_classes: 5 # 4 lanes + background

cut_height: &cut_height 270
dataset_dir: &dataset_dir dataset/culane

TrainDataset:
  name: CULaneDataSet
  dataset_dir: *dataset_dir
  list_path: 'list/train_gt.txt'
  split: train
  cut_height: *cut_height

EvalDataset:
  name: CULaneDataSet
  dataset_dir: *dataset_dir
  list_path: 'list/test.txt'
  split: test
  cut_height: *cut_height

TestDataset:
  name: CULaneDataSet
  dataset_dir: *dataset_dir
  list_path: 'list/test.txt'
  split: test
  cut_height: *cut_height

关键说明:

  • num_classes: 5:CULane 的 4 条车道线类别(左左、左、右、右右)+ 1 个背景类;
  • cut_height: 270:CULane 原始图像尺寸为 590×1640,图像顶部 270 像素多为天空等无关区域,训练/推理前会被裁剪掉,仅保留下方车道线区域,可显著节省计算量;
  • metric: CULaneMetric:评估时使用 ppdet/metrics/culane_metrics.py 中实现的 CULane 官方评测协议(按场景子集分别计算 F1 后汇总为 mF1)。

2. 数据读取与预处理(base/clrnet_reader.yml)

worker_num: 10

img_h: &img_h 320
img_w: &img_w 800
ori_img_h: &ori_img_h 590
ori_img_w: &ori_img_w 1640
num_points: &num_points 72
max_lanes: &max_lanes 4

TrainReader:
  batch_size: 24
  batch_transforms:
    - CULaneTrainProcess: {img_h: *img_h, img_w: *img_w}
    - CULaneDataProcess: {num_points: *num_points, max_lanes: *max_lanes, img_w: *img_w, img_h: *img_h}
  shuffle: True
  drop_last: False

EvalReader:
  batch_size: 24
  batch_transforms:
    - CULaneResize: {prob: 1.0, img_h: *img_h, img_w: *img_w}
    - CULaneDataProcess: {num_points: *num_points, max_lanes: *max_lanes, img_w: *img_w, img_h: *img_h}
  shuffle: False
  drop_last: False

TestReader:
  batch_size: 24
  batch_transforms:
    - CULaneResize: {prob: 1.0, img_h: *img_h, img_w: *img_w}
    - CULaneDataProcess: {num_points: *num_points, max_lanes: *max_lanes, img_w: *img_w, img_h: *img_h}
  shuffle: False
  drop_last: False

关键说明:

  • 输入尺寸统一为 320×800(裁剪掉顶部 270 像素后的区域再缩放);
  • num_points: 72:每条车道线用 72 个采样点(71 段)表示,对应检测头中的 n_strips/n_offsets 参数;
  • max_lanes: 4:单张图最多输出 4 条车道线;
  • 训练阶段使用 CULaneTrainProcess(包含数据增强),评估与推理阶段使用 CULaneResize 保持一致性。

3. 模型结构(base/clrnet_r18_fpn.yml)

architecture: CLRNet

CLRNet:
  backbone: CLRResNet
  neck: CLRFPN
  clr_head: CLRHead

CLRResNet:
  resnet: 'resnet18'
  pretrained: True

CLRFPN:
  in_channels: [128,256,512]
  out_channel: 64
  extra_stage: 0

CLRHead:
  prior_feat_channels: 64
  fc_hidden_dim: 64
  num_priors: 192
  num_fc: 2
  refine_layers: 3
  sample_points: 36
  loss: CLRNetLoss
  conf_threshold: 0.4
  nms_thres: 0.8

CLRNetLoss:
  cls_loss_weight : 2.0
  xyt_loss_weight : 0.2
  iou_loss_weight : 2.0
  seg_loss_weight : 1.0
  refine_layers : 3
  ignore_label: 255
  bg_weight: 0.4

# for visualize lane detection results
sample_y:
  start: 589
  end: 230
  step: -20

各参数含义如下:

参数 默认值 说明
architecture: CLRNet — 指定整体架构,对应 clrnet.py 中注册的 CLRNet
CLRResNet.resnet resnet18 骨干网络类型,pretrained: True 表示加载 ImageNet 预训练权重
CLRFPN.in_channels [128,256,512] FPN 输入各层通道数,与 ResNet-18 的 res3/res4/res5 输出对齐
CLRFPN.out_channel 64 FPN 输出通道数,后续送入检测头的特征通道
CLRHead.num_priors 192 可学习先验(直线假设)的数量
CLRHead.num_fc 2 分类/回归子网络中的全连接层数
CLRHead.refine_layers 3 参与跨层细化的 FPN 层数
CLRHead.sample_points 36 在先验轨迹上采样的特征点数(用于 ROIGather 聚合上下文)
CLRHead.conf_threshold 0.4 推理时车道线置信度阈值,低于该值的先验被过滤
CLRHead.nms_thres 0.8 车道线 NMS 的 IoU 阈值
CLRNetLoss 各权重 见上 分类损失(2.0)、起始点/角度/长度回归损失(0.2)、车道线 IoU 损失(2.0)、分割辅助损失(1.0)之间的权重配比

从 clrnet_fpn.py 的实现看,CLRFPN 采用经典的自顶向下路径:对骨干输出的各层特征先做 1×1 lateral 卷积统一通道,再逐层上采样相加(nearest 插值、2 倍上采样),最后经 3×3 卷积输出;由于配置了 extra_stage: 0,不额外生成 P6 层级。

检测头 CLRHead(clrnet_head.py)则包含了:

  • 先验生成:_init_prior_embeddings + generate_priors_from_embeddings 生成 192 条直线先验及其在特征图上的采样位置(priors_on_featmap);
  • ROI 特征聚合:ROIGather 通过 F.grid_sample 按先验轨迹位置采样特征(pool_prior_features),聚合上下文后经 reg_modules/cls_modules 全连接子网络回归(72 个偏移点 + 起始点 + 角度 + 长度)与分类;
  • 车道线 NMS:推理时通过 get_lanes 基于车道线 IoU 进行去重(对应配置中的 nms_thres)。

4. 优化器与学习率(base/optimizer_1x.yml)

epoch: 15
snapshot_epoch: 5

LearningRate:
  base_lr: 0.6e-3
  schedulers:
  - !CosineDecay
    max_epochs: 15
    use_warmup: False

OptimizerBuilder:
  regularizer: False
  optimizer:
    type: AdamW

CLRNet 在 CULane 上默认训练 15 个 epoch,使用 AdamW 优化器(基础学习率 0.6e-3,不做权重衰减),学习率按余弦退火(CosineDecay)从初始值衰减到接近 0,不使用 warmup;每 5 个 epoch 保存一次快照(snapshot_epoch: 5)。

数据集准备

下载 CULane 数据集

从 CULane 官网下载完整数据集后,解压到 dataset/culane 目录(对应配置文件中的 dataset_dir)。最终的目录结构应如下:

culane/driver_xx_xxframe    # data folders x6
culane/laneseg_label_w16    # lane segmentation labels
culane/list                 # data lists

其中:

  • driver_xx_xxframe:共 6 个视频帧数据文件夹,存放原始图像;
  • laneseg_label_w16:车道线分割标签(16 通道宽度标注);
  • list:训练/测试数据列表(对应配置中的 list/train_gt.txt、list/test.txt)。

注意:如果使用百度云链接下载,请确保 driver_23_30frame_part1.tar.gz 和 driver_23_30frame_part2.tar.gz 两个分卷解压后的文件都合并到 driver_23_30frame 目录下,否则数据不完整。

PaddleDetection 同时内置了一个用于快速验证流程的小型测试数据集,直接运行训练脚本即可自动下载并解压;但若要复现模型库中的 mF1 精度,需要下载全量 CULane 数据集进行训练。

模型训练

GPU 单卡训练

python tools/train.py -c configs/clrnet/clr_resnet18_culane.yml

GPU 多卡训练

export CUDA_VISIBLE_DEVICES=0,1,2,3
python -m paddle.distributed.launch --gpus 0,1,2,3 tools/train.py -c configs/clrnet/clr_resnet18_culane.yml

训练过程中的关键行为:

  • 权重与训练日志默认输出到 output/clr_resnet18_culane/(由配置中 weights: output/clr_resnet18_culane/model_final 决定),模型收敛后会保存 model_final.pdparams;
  • 每 5 个 epoch 保存一次快照(snapshot_epoch: 5);
  • 训练阶段在 clrnet.py 的 _forward 中走 self.training 分支:self.heads(neck_feats, self.inputs) 返回包含分类、回归、分割辅助分支的损失字典,供 get_loss 使用。

训练机制补充说明

CLRNet 是端到端训练的一阶段模型,不需要额外的锚框或 RPN 阶段。训练损失由 CLRNetLoss 组合四部分构成(权重见上文配置):先验分类损失、起始点/角度/长度回归损失、车道线 IoU 损失,以及一个辅助的分割分支损失(SegDecoder 输出分割图,帮助网络学习车道线区域语义)。ignore_label: 255 表示分割标签中值为 255 的像素不参与损失计算。

模型评估

训练完成后,使用 tools/eval.py 在 CULane 测试集上评估:

python tools/eval.py -c configs/clrnet/clr_resnet18_culane.yml -o weights=output/clr_resnet18_culane/model_final.pdparams

评估阶段说明:

  • 通过 -o weights=... 覆盖配置中的默认权重路径,指定训练好的参数文件;
  • 评估走 clrnet.py 中的非训练分支:self.heads(neck_feats) 输出原始预测,再调用 get_lanes 完成置信度过滤(conf_threshold: 0.4)与车道线 NMS(nms_thres: 0.8)后处理,得到最终车道线集合;
  • 结果由 CULaneMetric(ppdet/metrics/culane_metrics.py)按 CULane 官方协议统计,输出 mF1、F1@50、F1@75 等指标,可与模型库表格对照验证复现效果。

模型预测

对单张图片进行车道线检测推理:

python tools/infer_culane.py -c configs/clrnet/clr_resnet18_culane.yml -o weights=output/clr_resnet18_culane/model_final.pdparams --infer_img=demo/lane00000.jpg

说明:

  • 使用专用的 tools/infer_culane.py 推理脚本(而非通用 tools/infer.py),因为它额外完成了 CLRNet 输出的车道线可视化(车道线点坐标还原、曲线绘制等);
  • --infer_img 指定待检测图片路径,仓库 demo 目录下提供了 lane00000.jpg 等示例图片可直接使用;
  • 推理时在 clrnet.py 中会同时返回 lanes、img_path、img_name,便于可视化脚本标注结果;
  • 最终可视化结果默认输出到 output/ 目录下,可直观检查模型的检测效果。

注意:CLRNet 预测功能目前暂不支持静态图(动转静)推理部署,请使用动态图模式运行推理。

引用

若在学术工作中使用或参考本模型,请引用 CLRNet 原始论文:

@InProceedings{Zheng_2022_CVPR,
    author    = {Zheng, Tu and Huang, Yifei and Liu, Yang and Tang, Wenjian and Yang, Zheng and Cai, Deng and He, Xiaofei},
    title     = {CLRNet: Cross Layer Refinement Network for Lane Detection},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {898-907}
}

总结

本文围绕 PaddleDetection 中的 CLRNet 车道线检测模型,系统梳理了从算法原理、配置文件到实战流程的完整链路:直线先验轨迹与车道线专用 IoU/NMS 是 CLRNet 区别于通用目标检测器的核心设计,FPN 多尺度跨层细化机制保证了车道线定位精度;在工程侧,通过 _BASE_ 继承机制组织的 5 份配置精确控制了数据读取、模型结构、损失权重与优化策略。按照本文的步骤,即可在 CULane 数据集上完成训练、评估与推理,并复现 ResNet-18 骨架下 mF1 54.98 的官方结果。

登录后查看全文
PaddleDetection