BEVFusion项目中的模型权重加载问题解析

问题背景

在BEVFusion项目中，研究人员经常需要训练多模态融合模型，其中涉及相机和激光雷达数据的联合训练。一个常见的技术挑战出现在尝试使用预训练的单模态模型权重来初始化融合模型时，系统会报错"KeyError: 'encoders.camera.backbone.stages.0.blocks.0.attn.w_msa.relative_position_bias_table'"。

问题本质分析

这个错误的核心在于模型权重字典的键不匹配。具体表现为：

1. 当使用纯相机模型（camera-only）训练得到的检查点（如epoch_20.pth）来初始化融合模型的相机分支时，由于模型结构差异导致权重键名不匹配。

2. 纯相机模型检查点包含了完整的检测器结构，而融合模型初始化时只需要相机主干网络部分的权重。

技术原理详解

BEVFusion的多模态融合架构通常包含几个关键组件：

• 相机编码器（包含主干网络和颈部网络）
• 激光雷达编码器
• 特征融合模块
• 检测头

当使用预训练权重时，需要注意：

1. 单模态检测器（如纯相机模型）的权重结构包含完整的从主干到检测头的所有参数。

2. 融合模型初始化时，通常只需要主干网络部分的权重，且键名结构可能与单模态检测器不同。

解决方案

正确的权重加载策略应该是：

1. 对于相机分支，使用专门的主干网络预训练权重（如swint-nuimages-pretrained.pth），而不是完整的单模态检测器检查点。

2. 对于激光雷达分支，可以直接使用预训练的激光雷达检测器权重。

3. 训练命令应类似如下格式：

torchpack dist-run -np 8 python tools/train.py \
configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml \
--model.encoders.camera.backbone.init_cfg.checkpoint pretrained/swint-nuimages-pretrained.pth \
--load_from pretrained/lidar-only-det.pth

深入技术细节

1. 权重键名差异：单模态检测器检查点的权重键名通常包含完整模型的前缀（如"encoders.camera.backbone"），而主干网络预训练权重则没有这些前缀。

2. 模型结构差异：单模态检测器可能包含特定于单模态任务的定制层或结构调整，这些在融合模型中可能不兼容。

3. 训练策略：直接从主干网络预训练权重开始训练融合模型，通常比尝试迁移单模态检测器权重效果更好，因为后者可能导致优化方向不一致。

最佳实践建议

1. 始终使用官方推荐的主干网络预训练权重来初始化融合模型的相应分支。

2. 如果需要微调主干网络，建议直接在融合框架下进行端到端训练，而不是先训练单模态模型。

3. 当确实需要迁移单模态模型知识时，可以考虑编写自定义的权重加载逻辑来处理键名不匹配问题。

通过理解这些技术细节和采用正确的实践方法，研究人员可以更高效地训练BEVFusion这类多模态融合模型，避免常见的权重加载错误。