CLRNet车道检测入门:CVPR2022三大数据集SOTA原理全解析
CLRNet车道检测入门:CVPR2022三大数据集SOTA原理全解析
CLRNet 是一个基于 PyTorch 实现的车道检测网络,论文《CLRNet: Cross Layer Refinement Network for Lane Detection》被 CVPR 2022 接收,并同时在 CULane、Tusimple、LLAMAS 三大主流车道检测数据集上取得了 SOTA(最优)结果。对于刚接触自动驾驶感知方向的新手来说,这个项目代码结构清晰、配置驱动、可直接训练,是学习"现代车道检测如何做到又快又准"的绝佳入门材料。本文将用通俗的语言讲清 CLRNet 的核心原理、三大成绩来源,以及 5 步跑通训练与验证的完整流程。
🚗 CLRNet 是什么:一句话理解车道检测
车道检测的任务是:给一张行车记录仪照片,输出图中每条车道的像素级轨迹。CLRNet 把这个问题转化为 "先猜线、再逐步修正" 的过程:
- 网络内置了 192 条"先验车道线"(priors),可以理解为预先铺好的 192 个"猜线模板";
- 通过 3 轮跨层精炼(Cross Layer Refinement),每轮从不同分辨率的特征图上取信息,把车道线位置一点点修得更准;
- 最终用 NMS 筛掉冗余线,输出置信度高的车道轨迹。
这种"猜线—修正"的思路,避免了把车道当分割图逐像素分类的笨办法,天然更适合输出细线状的检测结果。
🧠 三大核心原理全解析
CLRNet 的性能不是靠某个单点技巧,而是三个设计相互配合的结果。上图完整展示了 (a) 精炼、(b) ROIGather、(c) 损失三部分结构。
原理一:跨层精炼,用多尺度特征修正车道线
车道在图像中是"近大远小"的:底部车道粗、顶部车道细。单层特征图很难同时看清两种尺度,CLRNet 的解法是:
- 主干网络(ResNet 或 DLA)提取多层特征,经过 FPN 融合成 3 个金字塔特征
L₀、L₁、L₂; - 第 1 轮在低分辨率层上粗略定位车道线,第 2、3 轮逐层切换到更精细的特征图继续修正;
- 每轮预测都回写成新一轮的先验(代码中
priors = prediction_lines.detach()),实现迭代式细化。
这个过程对应 clrnet/models/heads/clr_head.py 中的 iterative refine 循环,3 轮精炼的次数由配置项 refine_layers=3 控制。
原理二:ROIGather,为每条线注入"全局视野"
单条车道线本身信息有限,但"这条线是不是真实车道"往往要看整幅图的其他线索(比如相邻车道、路面纹理)。CLRNet 用 ROIGather 模块解决这个问题:
- 把每条先验线上的特征作为 query,把整张特征图作为 key/value,做一次轻量级注意力计算;
- 相当于让每条车道线"看一眼全局",把上下文信息聚合进自己的特征里。
这样既保留了局部线特征的定位精度,又补充了全局语义,是实现高精度的关键。源码位于 clrnet/models/utils/roi_gather.py。
原理三:动态匹配 + 四重损失,训练更稳更准
传统检测常靠"手动配准"正负样本,CLRNet 采用动态分配(dynamic assign):每轮训练实时比较预测线与真实线的相似度,自动选出最匹配的线做监督。损失函数由四部分组成:
| 损失 | 作用 |
|---|---|
| Focal Loss | 区分"是车道/不是车道",抑制大量简单负样本 |
| Smooth L1(xytl) | 回归车道线起点、角度、长度等几何参数 |
| Line IoU Loss | 直接优化预测线与真实线的重合度,对细线更友好 |
| 分割辅助损失 | 用辅助语义分割监督,帮助特征学习路面结构 |
权重均可在配置文件中调整,例如 configs/clrnet/clr_dla34_culane.py 中的 iou_loss_weight、seg_loss_weight 等参数。动态匹配逻辑在 clrnet/models/utils/dynamic_assign.py。
🏆 三大 SOTA 数据集成绩一览
CLRNet 在三个公认基准上都刷新了当时的最佳记录,这也是它被称为"CVPR2022 车道检测 SOTA"的原因:
| 数据集 | Backbone | 关键指标 | 说明 |
|---|---|---|---|
| CULane(复杂城区道路) | DLA-34 | mF1 55.64 / F1@50 80.47 | 含遮挡、弯道、密集车道,难度最高 |
| Tusimple(高速场景) | ResNet-18 | F1 97.89 / Acc 96.84 | 轻量模型也能拿下高分 |
| LLAMAS(长时序高速) | DLA-34 | mF1 71.57 / F1@50 97.06 | 考察长时间稳定性 |
三个数据集各有侧重:CULane 考察复杂路口与遮挡,Tusimple 考察精度极限,LLAMAS 考察长视频时序一致性。CLRNet 能通吃三者,说明其跨层精炼 + 全局上下文的设计具有普适性,而不只是针对单一场景调参的产物。
🚀 新手快速上手:5 步跑通训练与验证
第 1 步:克隆仓库并创建环境
git clone https://gitcode.com/gh_mirrors/cl/CLRNet
cd CLRNet
conda create -n clrnet python=3.8 -y
conda activate clrnet
第 2 步:安装依赖
先按 requirements.txt 安装 PyTorch(建议 CUDA 10.2),再执行:
python setup.py build develop
该命令会一并编译 clrnet/ops/ 下的自定义 NMS CUDA 算子。
第 3 步:准备数据
按 README 下载 CULane、Tusimple 或 LLAMAS 数据集,解压后建立软链接即可,例如:
mkdir -p data
ln -s $CULANEROOT data/CULane
Tusimple 没有官方分割标注,需额外运行 tools/generate_seg_tusimple.py 生成。三个数据集的读取逻辑分别实现在 clrnet/datasets/culane.py、clrnet/datasets/tusimple.py、clrnet/datasets/llamas.py。
第 4 步:一行命令开始训练
CLRNet 采用配置驱动的训练方式,所有超参数都写在 Python 配置文件中:
python main.py configs/clrnet/clr_dla34_culane.py --gpus 0
主入口 main.py 会读取配置、构建 clrnet/engine/runner.py 中的 Runner,自动完成训练、日志与模型保存。
第 5 步:验证并可视化结果
训练完成后加载权重验证,加 --view 参数即可在 work_dirs/xxx/visualization 目录看到可视化车道线:
python main.py configs/clrnet/clr_dla34_culane.py --validate --load_from culane_dla34.pth --gpus 0 --view
🎛️ 如何选 Backbone:resnet18 还是 dla34?
项目提供 8 套现成配置,覆盖全部组合:
- 资源紧张 / 快速实验:configs/clrnet/clr_resnet18_culane.py —— 18 层残差网,速度最快,性能仅略低;
- 追求精度:configs/clrnet/clr_dla34_culane.py 或 configs/clrnet/clr_resnet101_culane.py —— DLA-34 是论文中综合表现最好的组合;
- 多数据集:把配置中数据集名换成 tusimple 或 llamas 版本即可,如 configs/clrnet/clr_resnet18_tusimple.py、configs/clrnet/clr_dla34_llamas.py。
更换数据集时,只需修改配置里的 dataset_type、dataset_path 和图像尺寸参数,训练管线、增强策略(水平翻转、仿射变换、模糊等)均由 clrnet/datasets/process/ 自动接管。
❓ 新手常见问题 FAQ
Q1:没有 GPU 能跑吗? 可以小规模实验,但项目默认走 CUDA 路径(NMS 为 CUDA 算子),强烈建议配一台带 NVIDIA 显卡的机器。
Q2:为什么 Tusimple 分数高达 97+ 而 CULane 只有 55? 两个数据集的标注口径不同:CULane 的 mF1 同时考核多类细粒度误差且场景更复杂,业界所有方法在该数据集上分数都明显低于 Tusimple,属正常现象。
Q3:如何改车道数、先验数量?
修改配置中 max_lanes(最大车道数)、heads 中的 num_priors(先验线数量)即可,无需改动网络代码。
Q4:训练日志和权重保存在哪?
默认保存在 work_dirs/ 下对应目录(如 work_dirs/clr/dla34_culane),也可用 --work_dirs 参数自定义。
📌 总结
CLRNet 用一个巧妙的组合拳——跨层精炼 + ROIGather 全局上下文 + 动态匹配与四重损失——在 CULane、Tusimple、LLAMAS 三大车道检测数据集上同时达到 SOTA,是 CVPR 2022 车道检测方向的标志性工作之一。对新手而言,它配置驱动、目录清晰、8 套配置开箱即用,非常适合用来理解"一个完整的深度学习检测项目是如何组织的":
- 模型定义看 clrnet/models/,核心精炼逻辑在 clr_head.py;
- 训练流程看 clrnet/engine/,数据管线看 clrnet/datasets/;
- 超参实验从 configs/clrnet/ 任选一份配置起步。
跑通一次完整的训练与验证,你就已经掌握了车道检测项目 80% 的工程套路,剩下的就是替换数据集、调参和复现新算法了。
