NotACracker/COTR项目教程：自定义运行时配置详解

前言

在NotACracker/COTR项目的使用过程中，合理配置运行时参数对模型训练效果有着至关重要的影响。本文将全面介绍如何在该项目中自定义优化器、训练调度、工作流以及钩子函数等运行时配置，帮助开发者根据实际需求灵活调整训练过程。

优化器配置详解

使用PyTorch内置优化器

NotACracker/COTR项目支持所有PyTorch原生优化器，只需简单修改配置文件中的optimizer字段即可。例如，要使用Adam优化器：

optimizer = dict(type='Adam', lr=0.0003, weight_decay=0.0001)

学习率(lr)是最常调整的参数，开发者可以根据任务需求直接修改该值。其他参数如weight_decay等也可以根据PyTorch官方文档进行配置。

自定义优化器实现

1. 创建自定义优化器类

在项目中添加自定义优化器需要以下步骤：

1. 在mmdet3d/core/optimizer/目录下创建新文件（如my_optimizer.py）
2. 实现优化器类并注册：

from mmcv.runner.optimizer import OPTIMIZERS
from torch.optim import Optimizer

@OPTIMIZERS.register_module()
class MyOptimizer(Optimizer):
    def __init__(self, a, b, c):
        # 实现初始化逻辑
        pass

2. 注册优化器

有两种方式使系统识别自定义优化器：

方法一：通过__init__.py导入

1. 在mmdet3d/core/optimizer/__init__.py中添加：

from .my_optimizer import MyOptimizer
__all__ = ['MyOptimizer']

2. 在mmdet3d/core/__init__.py中导入optimizer模块

方法二：通过配置文件导入

custom_imports = dict(imports=['mmdet3d.core.optimizer.my_optimizer'], allow_failed_imports=False)

3. 在配置中使用

配置文件中使用自定义优化器：

optimizer = dict(type='MyOptimizer', a=a_value, b=b_value, c=c_value)

优化器构造器定制

对于需要特殊参数设置的模型（如BatchNorm层的权重衰减），可以通过自定义优化器构造器实现精细控制：

from mmcv.runner.optimizer import OPTIMIZER_BUILDERS

@OPTIMIZER_BUILDERS.register_module()
class MyOptimizerConstructor:
    def __init__(self, optimizer_cfg, paramwise_cfg=None):
        # 初始化逻辑
        pass
    
    def __call__(self, model):
        # 返回优化器实例
        return my_optimizer

实用训练技巧

1. 梯度裁剪：防止梯度爆炸

optimizer_config = dict(
    _delete_=True, 
    grad_clip=dict(max_norm=35, norm_type=2)
)

2. 动量调度：配合学习率调度加速收敛

lr_config = dict(
    policy='cyclic',
    target_ratio=(10, 1e-4),
    cyclic_times=1,
    step_ratio_up=0.4,
)
momentum_config = dict(
    policy='cyclic',
    target_ratio=(0.85/0.95, 1),
    cyclic_times=1,
    step_ratio_up=0.4,
)

训练调度配置

NotACracker/COTR支持多种学习率调度策略：

1. Poly策略：

lr_config = dict(policy='poly', power=0.9, min_lr=1e-4, by_epoch=False)

2. 余弦退火策略：

lr_config = dict(
    policy='CosineAnnealing',
    warmup='linear',
    warmup_iters=1000,
    warmup_ratio=1.0/10,
    min_lr_ratio=1e-5
)

工作流定制

工作流定义了训练和验证的顺序及轮次。默认配置为：

workflow = [('train', 1)]  # 只训练

如需加入验证阶段：

workflow = [('train', 1), ('val', 1)]  # 交替进行训练和验证

注意：

• 验证阶段不会更新模型参数
• max_epochs仅控制训练轮次
• 两种工作流对EvalHook的影响相同

钩子函数定制

自定义钩子实现

1. 创建钩子类：

from mmcv.runner import HOOKS, Hook

@HOOKS.register_module()
class MyHook(Hook):
    def __init__(self, a, b):
        pass
    
    def before_run(self, runner):
        pass
    # 实现其他阶段方法...

2. 注册钩子：

• 通过__init__.py导入
• 或使用custom_imports配置

3. 配置使用：

custom_hooks = [
    dict(type='MyHook', a=a_value, b=b_value, priority='NORMAL')
]

修改默认运行时钩子

1. 检查点配置：

checkpoint_config = dict(interval=1, max_keep_ckpts=5)

2. 日志配置：

log_config = dict(
    interval=50,
    hooks=[
        dict(type='TextLoggerHook'),
        dict(type='TensorboardLoggerHook')
    ])

3. 评估配置：

evaluation = dict(interval=1, metric='bbox')

结语

通过本文介绍的方法，开发者可以灵活定制NotACracker/COTR项目的运行时配置，包括优化器、学习率策略、工作流程和钩子函数等。合理配置这些参数可以显著提升模型训练效果和开发效率。建议在实际应用中根据具体任务需求进行调优，逐步找到最佳配置方案。