NotACracker/COTR项目教程：深度自定义运行时配置指南

前言

在NotACracker/COTR项目的实际应用中，开发者经常需要根据具体任务需求对训练过程进行深度定制。本文将全面介绍如何在该项目中自定义运行时配置，包括优化器设置、训练规程、工作流以及钩子机制等核心内容，帮助开发者充分发挥框架潜力。

优化器定制详解

使用内置PyTorch优化器

NotACracker/COTR项目原生支持所有PyTorch实现的优化器，只需简单修改配置文件即可切换：

# 使用ADAM优化器示例
optimizer = dict(type='Adam', lr=0.0003, weight_decay=0.0001)

关键参数说明：

• type：指定优化器类型（SGD/Adam等）
• lr：基础学习率，通常需要根据batch size调整
• weight_decay：L2正则化系数，防止过拟合

实现自定义优化器

1. 创建优化器类

在项目中创建新的优化器需要继承PyTorch的Optimizer基类：

from mmcv.runner.optimizer import OPTIMIZERS
from torch.optim import Optimizer

@OPTIMIZERS.register_module()
class CustomOptimizer(Optimizer):
    def __init__(self, params, a=0.1, b=0.01):
        defaults = dict(a=a, b=b)
        super().__init__(params, defaults)
        
    def step(self, closure=None):
        # 实现优化逻辑
        ...

2. 注册优化器

通过以下两种方式使系统识别新优化器：

方法一：通过__init__.py导入

# 在mmdet3d/core/optimizer/__init__.py中添加
from .custom_optim import CustomOptimizer
__all__ = ['CustomOptimizer']

方法二：配置文件中直接导入

custom_imports = dict(
    imports=['mmdet3d.core.optimizer.custom_optim'],
    allow_failed_imports=False
)

3. 配置使用

optimizer = dict(type='CustomOptimizer', a=0.2, b=0.05)

高级优化技巧

1. 梯度裁剪：防止梯度爆炸

optimizer_config = dict(
    grad_clip=dict(max_norm=35, norm_type=2)
)

2. 动态动量调整：配合学习率调度

momentum_config = dict(
    policy='cyclic',
    target_ratio=(0.85/0.95, 1),
    cyclic_times=1,
    step_ratio_up=0.4
)

训练规程定制

NotACracker/COTR支持多种学习率调度策略：

多项式衰减

lr_config = dict(
    policy='poly',
    power=0.9,      # 衰减强度
    min_lr=1e-4,    # 最小学习率
    by_epoch=False   # 按迭代次数调整
)

余弦退火策略

lr_config = dict(
    policy='CosineAnnealing',
    warmup='linear',    # 预热策略
    warmup_iters=1000,  # 预热迭代次数
    warmup_ratio=0.1,   # 起始学习率比例
    min_lr=1e-5         # 最小学习率
)

工作流设计

工作流控制训练和验证的执行顺序：

# 标准1:1训练验证交替
workflow = [('train', 1), ('val', 1)]

# 训练2个epoch后验证1次
workflow = [('train', 2), ('val', 1)]

注意事项：

• 验证阶段不更新模型参数
• max_epochs仅控制训练总epoch数
• 验证频率不影响评估钩子的执行时机

钩子机制深度应用

自定义钩子实现

1. 创建钩子类：

from mmcv.runner import HOOKS, Hook

@HOOKS.register_module()
class CustomHook(Hook):
    def __init__(self, interval=10):
        self.interval = interval
        
    def after_train_iter(self, runner):
        if runner.iter % self.interval == 0:
            # 自定义操作
            ...

2. 注册与使用：

custom_hooks = [
    dict(type='CustomHook', interval=20, priority='HIGH')
]

核心系统钩子配置

1. 检查点设置：

checkpoint_config = dict(
    interval=1,            # 保存间隔
    max_keep_ckpts=3,      # 最大保存数量
    save_optimizer=True    # 是否保存优化器状态
)

2. 日志系统配置：

log_config = dict(
    interval=50,
    hooks=[
        dict(type='TextLoggerHook'),
        dict(type='TensorboardLoggerHook')
    ]
)

3. 评估策略：

evaluation = dict(
    interval=1,
    metric='mAP',          # 评估指标
    save_best='auto'       # 自动保存最佳模型
)

最佳实践建议

1. 学习率设置：初始学习率与batch size成正比关系，大batch size需要相应增大学习率

2. 梯度裁剪：当使用RNN结构或深层网络时，建议启用梯度裁剪

3. 混合精度训练：可结合Apex或PyTorch原生AMP实现加速

4. 自定义验证：通过继承BaseDataset实现特定评估逻辑

5. 分布式训练：注意钩子在不同进程中的同步问题

通过本文介绍的各种定制方法，开发者可以针对具体任务需求，在NotACracker/COTR项目中实现高度定制化的训练流程，充分发挥深度学习模型的潜力。