PaddleDetection 车道线检测实战:CLRNet 跨层细化网络在 CULane 数据集上的训练、评估与推理全指南
PaddleDetection 车道线检测实战:CLRNet 跨层细化网络在 CULane 数据集上的训练、评估与推理全指南
导读
本文以 PaddleDetection 内置的 CLRNet(Cross Layer Refinement Network for Lane Detection)车道线检测模型为核心,完整讲解其算法原理、模型结构与配置文件,并给出在 CULane 车道线数据集上从数据准备、单卡/多卡训练、评估到推理的完整可复现流程。读完本文,你将掌握 CLRNet 的直线先验轨迹设计、车道线 IoU 与 NMS 机制、FPN 多尺度上下文融合思想,以及如何基于 CLRNet 配置目录 一键训练自己的车道线检测模型。
CLRNet 算法简介
CLRNet 是发表于 CVPR 2022 的车道线检测模型,论文题为 CLRNet: Cross Layer Refinement Network for Lane Detection。该模型为车道线检测设计了一组直线先验轨迹(line-prior),并配套设计了车道线专用的 IoU 与 NMS 方法;同时通过融合高层语义上下文特征与底层细节特征,借助 FPN 多尺度结构进行逐步细化(refine),在车道线检测相关数据集上取得了当时的 SOTA 性能。
从 PaddleDetection 源码结构看,CLRNet 的完整实现分布在以下几个模块中,构成了"骨干网络 → 特征金字塔 → 检测头 → 损失函数"的完整链路:
- 模型整体架构:ppdet/modeling/architectures/clrnet.py(注册名为
CLRNet) - 骨干网络:ppdet/modeling/backbones/clrnet_resnet.py(注册名为
CLRResNet) - 特征金字塔:ppdet/modeling/necks/clrnet_fpn.py(注册名为
CLRFPN) - 检测头:ppdet/modeling/heads/clrnet_head.py(注册名为
CLRHead) - 损失函数:ppdet/modeling/losses/clrnet_loss.py(注册名为
CLRNetLoss) - 车道线匹配器:ppdet/modeling/assigners/clrnet_assigner.py
- CULane 评估指标:ppdet/metrics/culane_metrics.py
核心思想:直线先验 + 跨层细化
在 clrnet_head.py 的 CLRHead 初始化中可以看到,模型通过 prior_embeddings 学习一组可学习的先验(priors),每个先验由 2 + 2 + 2 + n_offsets 维向量描述(2 个分类得分、起始点坐标、角度、长度以及 72 个采样点坐标)。这些先验以直线形式作为车道线轨迹的初始假设,随后在网络各层不断被细化、修正为贴合真实车道线的曲线。
模型的细化过程体现在 refine_layers 参数上(默认 3),配合 ROIGather 模块在多层特征金字塔上重复采样、聚合上下文特征并回归修正,这正是"Cross Layer Refinement"名称的由来——高层特征提供语义上下文(判断"这是一条车道线"),低层特征提供精细几何细节(判断"车道线具体弯在哪")。
模型库与 CULane 精度
原文档给出了 CLRNet 在 CULane 数据集上的官方复现结果,使用 ResNet-18 作为骨干网络:
| 骨架网络 | mF1 | F1@50 | F1@75 | 配置文件 |
|---|---|---|---|---|
| ResNet-18 | 54.98 | 79.46 | 62.10 | clrnet_resnet18_culane.yml |
其中:
- mF1:CULane 官方评测体系下的平均 F1 分数(对不同场景子集加权平均),是车道线检测最常用的综合指标;
- F1@50 / F1@75:在 IoU 阈值分别为 0.50 / 0.75 下的 F1 分数,反映了模型在不同定位精度要求下的表现。
配置文件深度解析
CLRNet 的配置遵循 PaddleDetection 的 _BASE_ 继承机制,clrnet_resnet18_culane.yml 仅是一个入口文件,真正的内容分布在 5 个基础配置中:
_BASE_: [
'../datasets/culane.yml',
'_base_/clrnet_reader.yml',
'_base_/clrnet_r18_fpn.yml',
'_base_/optimizer_1x.yml',
'../runtime.yml'
]
weights: output/clr_resnet18_culane/model_final
1. 数据集与评测配置(configs/datasets/culane.yml)
metric: CULaneMetric
num_classes: 5 # 4 lanes + background
cut_height: &cut_height 270
dataset_dir: &dataset_dir dataset/culane
TrainDataset:
name: CULaneDataSet
dataset_dir: *dataset_dir
list_path: 'list/train_gt.txt'
split: train
cut_height: *cut_height
EvalDataset:
name: CULaneDataSet
dataset_dir: *dataset_dir
list_path: 'list/test.txt'
split: test
cut_height: *cut_height
TestDataset:
name: CULaneDataSet
dataset_dir: *dataset_dir
list_path: 'list/test.txt'
split: test
cut_height: *cut_height
关键说明:
num_classes: 5:CULane 的 4 条车道线类别(左左、左、右、右右)+ 1 个背景类;cut_height: 270:CULane 原始图像尺寸为 590×1640,图像顶部 270 像素多为天空等无关区域,训练/推理前会被裁剪掉,仅保留下方车道线区域,可显著节省计算量;metric: CULaneMetric:评估时使用 ppdet/metrics/culane_metrics.py 中实现的 CULane 官方评测协议(按场景子集分别计算 F1 后汇总为 mF1)。
2. 数据读取与预处理(base/clrnet_reader.yml)
worker_num: 10
img_h: &img_h 320
img_w: &img_w 800
ori_img_h: &ori_img_h 590
ori_img_w: &ori_img_w 1640
num_points: &num_points 72
max_lanes: &max_lanes 4
TrainReader:
batch_size: 24
batch_transforms:
- CULaneTrainProcess: {img_h: *img_h, img_w: *img_w}
- CULaneDataProcess: {num_points: *num_points, max_lanes: *max_lanes, img_w: *img_w, img_h: *img_h}
shuffle: True
drop_last: False
EvalReader:
batch_size: 24
batch_transforms:
- CULaneResize: {prob: 1.0, img_h: *img_h, img_w: *img_w}
- CULaneDataProcess: {num_points: *num_points, max_lanes: *max_lanes, img_w: *img_w, img_h: *img_h}
shuffle: False
drop_last: False
TestReader:
batch_size: 24
batch_transforms:
- CULaneResize: {prob: 1.0, img_h: *img_h, img_w: *img_w}
- CULaneDataProcess: {num_points: *num_points, max_lanes: *max_lanes, img_w: *img_w, img_h: *img_h}
shuffle: False
drop_last: False
关键说明:
- 输入尺寸统一为 320×800(裁剪掉顶部 270 像素后的区域再缩放);
num_points: 72:每条车道线用 72 个采样点(71 段)表示,对应检测头中的n_strips/n_offsets参数;max_lanes: 4:单张图最多输出 4 条车道线;- 训练阶段使用
CULaneTrainProcess(包含数据增强),评估与推理阶段使用CULaneResize保持一致性。
3. 模型结构(base/clrnet_r18_fpn.yml)
architecture: CLRNet
CLRNet:
backbone: CLRResNet
neck: CLRFPN
clr_head: CLRHead
CLRResNet:
resnet: 'resnet18'
pretrained: True
CLRFPN:
in_channels: [128,256,512]
out_channel: 64
extra_stage: 0
CLRHead:
prior_feat_channels: 64
fc_hidden_dim: 64
num_priors: 192
num_fc: 2
refine_layers: 3
sample_points: 36
loss: CLRNetLoss
conf_threshold: 0.4
nms_thres: 0.8
CLRNetLoss:
cls_loss_weight : 2.0
xyt_loss_weight : 0.2
iou_loss_weight : 2.0
seg_loss_weight : 1.0
refine_layers : 3
ignore_label: 255
bg_weight: 0.4
# for visualize lane detection results
sample_y:
start: 589
end: 230
step: -20
各参数含义如下:
| 参数 | 默认值 | 说明 |
|---|---|---|
architecture: CLRNet |
— | 指定整体架构,对应 clrnet.py 中注册的 CLRNet |
CLRResNet.resnet |
resnet18 | 骨干网络类型,pretrained: True 表示加载 ImageNet 预训练权重 |
CLRFPN.in_channels |
[128,256,512] | FPN 输入各层通道数,与 ResNet-18 的 res3/res4/res5 输出对齐 |
CLRFPN.out_channel |
64 | FPN 输出通道数,后续送入检测头的特征通道 |
CLRHead.num_priors |
192 | 可学习先验(直线假设)的数量 |
CLRHead.num_fc |
2 | 分类/回归子网络中的全连接层数 |
CLRHead.refine_layers |
3 | 参与跨层细化的 FPN 层数 |
CLRHead.sample_points |
36 | 在先验轨迹上采样的特征点数(用于 ROIGather 聚合上下文) |
CLRHead.conf_threshold |
0.4 | 推理时车道线置信度阈值,低于该值的先验被过滤 |
CLRHead.nms_thres |
0.8 | 车道线 NMS 的 IoU 阈值 |
CLRNetLoss 各权重 |
见上 | 分类损失(2.0)、起始点/角度/长度回归损失(0.2)、车道线 IoU 损失(2.0)、分割辅助损失(1.0)之间的权重配比 |
从 clrnet_fpn.py 的实现看,CLRFPN 采用经典的自顶向下路径:对骨干输出的各层特征先做 1×1 lateral 卷积统一通道,再逐层上采样相加(nearest 插值、2 倍上采样),最后经 3×3 卷积输出;由于配置了 extra_stage: 0,不额外生成 P6 层级。
检测头 CLRHead(clrnet_head.py)则包含了:
- 先验生成:
_init_prior_embeddings+generate_priors_from_embeddings生成 192 条直线先验及其在特征图上的采样位置(priors_on_featmap); - ROI 特征聚合:
ROIGather通过F.grid_sample按先验轨迹位置采样特征(pool_prior_features),聚合上下文后经reg_modules/cls_modules全连接子网络回归(72 个偏移点 + 起始点 + 角度 + 长度)与分类; - 车道线 NMS:推理时通过
get_lanes基于车道线 IoU 进行去重(对应配置中的nms_thres)。
4. 优化器与学习率(base/optimizer_1x.yml)
epoch: 15
snapshot_epoch: 5
LearningRate:
base_lr: 0.6e-3
schedulers:
- !CosineDecay
max_epochs: 15
use_warmup: False
OptimizerBuilder:
regularizer: False
optimizer:
type: AdamW
CLRNet 在 CULane 上默认训练 15 个 epoch,使用 AdamW 优化器(基础学习率 0.6e-3,不做权重衰减),学习率按余弦退火(CosineDecay)从初始值衰减到接近 0,不使用 warmup;每 5 个 epoch 保存一次快照(snapshot_epoch: 5)。
数据集准备
下载 CULane 数据集
从 CULane 官网下载完整数据集后,解压到 dataset/culane 目录(对应配置文件中的 dataset_dir)。最终的目录结构应如下:
culane/driver_xx_xxframe # data folders x6
culane/laneseg_label_w16 # lane segmentation labels
culane/list # data lists
其中:
driver_xx_xxframe:共 6 个视频帧数据文件夹,存放原始图像;laneseg_label_w16:车道线分割标签(16 通道宽度标注);list:训练/测试数据列表(对应配置中的list/train_gt.txt、list/test.txt)。
注意:如果使用百度云链接下载,请确保
driver_23_30frame_part1.tar.gz和driver_23_30frame_part2.tar.gz两个分卷解压后的文件都合并到driver_23_30frame目录下,否则数据不完整。
PaddleDetection 同时内置了一个用于快速验证流程的小型测试数据集,直接运行训练脚本即可自动下载并解压;但若要复现模型库中的 mF1 精度,需要下载全量 CULane 数据集进行训练。
模型训练
GPU 单卡训练
python tools/train.py -c configs/clrnet/clr_resnet18_culane.yml
GPU 多卡训练
export CUDA_VISIBLE_DEVICES=0,1,2,3
python -m paddle.distributed.launch --gpus 0,1,2,3 tools/train.py -c configs/clrnet/clr_resnet18_culane.yml
训练过程中的关键行为:
- 权重与训练日志默认输出到
output/clr_resnet18_culane/(由配置中weights: output/clr_resnet18_culane/model_final决定),模型收敛后会保存model_final.pdparams; - 每 5 个 epoch 保存一次快照(
snapshot_epoch: 5); - 训练阶段在 clrnet.py 的
_forward中走self.training分支:self.heads(neck_feats, self.inputs)返回包含分类、回归、分割辅助分支的损失字典,供get_loss使用。
训练机制补充说明
CLRNet 是端到端训练的一阶段模型,不需要额外的锚框或 RPN 阶段。训练损失由 CLRNetLoss 组合四部分构成(权重见上文配置):先验分类损失、起始点/角度/长度回归损失、车道线 IoU 损失,以及一个辅助的分割分支损失(SegDecoder 输出分割图,帮助网络学习车道线区域语义)。ignore_label: 255 表示分割标签中值为 255 的像素不参与损失计算。
模型评估
训练完成后,使用 tools/eval.py 在 CULane 测试集上评估:
python tools/eval.py -c configs/clrnet/clr_resnet18_culane.yml -o weights=output/clr_resnet18_culane/model_final.pdparams
评估阶段说明:
- 通过
-o weights=...覆盖配置中的默认权重路径,指定训练好的参数文件; - 评估走 clrnet.py 中的非训练分支:
self.heads(neck_feats)输出原始预测,再调用get_lanes完成置信度过滤(conf_threshold: 0.4)与车道线 NMS(nms_thres: 0.8)后处理,得到最终车道线集合; - 结果由
CULaneMetric(ppdet/metrics/culane_metrics.py)按 CULane 官方协议统计,输出 mF1、F1@50、F1@75 等指标,可与模型库表格对照验证复现效果。
模型预测
对单张图片进行车道线检测推理:
python tools/infer_culane.py -c configs/clrnet/clr_resnet18_culane.yml -o weights=output/clr_resnet18_culane/model_final.pdparams --infer_img=demo/lane00000.jpg
说明:
- 使用专用的 tools/infer_culane.py 推理脚本(而非通用
tools/infer.py),因为它额外完成了 CLRNet 输出的车道线可视化(车道线点坐标还原、曲线绘制等); --infer_img指定待检测图片路径,仓库 demo 目录下提供了lane00000.jpg等示例图片可直接使用;- 推理时在 clrnet.py 中会同时返回
lanes、img_path、img_name,便于可视化脚本标注结果; - 最终可视化结果默认输出到
output/目录下,可直观检查模型的检测效果。
注意:CLRNet 预测功能目前暂不支持静态图(动转静)推理部署,请使用动态图模式运行推理。
引用
若在学术工作中使用或参考本模型,请引用 CLRNet 原始论文:
@InProceedings{Zheng_2022_CVPR,
author = {Zheng, Tu and Huang, Yifei and Liu, Yang and Tang, Wenjian and Yang, Zheng and Cai, Deng and He, Xiaofei},
title = {CLRNet: Cross Layer Refinement Network for Lane Detection},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2022},
pages = {898-907}
}
总结
本文围绕 PaddleDetection 中的 CLRNet 车道线检测模型,系统梳理了从算法原理、配置文件到实战流程的完整链路:直线先验轨迹与车道线专用 IoU/NMS 是 CLRNet 区别于通用目标检测器的核心设计,FPN 多尺度跨层细化机制保证了车道线定位精度;在工程侧,通过 _BASE_ 继承机制组织的 5 份配置精确控制了数据读取、模型结构、损失权重与优化策略。按照本文的步骤,即可在 CULane 数据集上完成训练、评估与推理,并复现 ResNet-18 骨架下 mF1 54.98 的官方结果。