PyTorch Lightning中周期性保存模型检查点的正确方式

在PyTorch Lightning项目中使用ModelCheckpoint回调时，许多开发者会遇到一个常见误区：期望通过设置every_n_epochs参数就能自动保存多个训练过程中的模型检查点，但实际上却只得到了最后一个检查点文件。这种现象并非bug，而是由于对ModelCheckpoint工作机制理解不够深入导致的。

问题现象

开发者通常会这样配置检查点回调：

checkpoint_callback = ModelCheckpoint(
    dirpath='checkpoints/every_10_epochs',
    filename='epoch-{epoch:02d}',
    every_n_epochs=10,
)

预期是在训练过程中每10个epoch保存一个检查点（例如epoch 10、20、30等），但实际运行后发现只保存了最后一个检查点文件。

根本原因

这种现象源于ModelCheckpoint的默认行为：

1. save_top_k参数默认为1，表示只保留"最优"的1个检查点
2. 每次保存新检查点时，会自动删除之前的检查点
3. 即使设置了every_n_epochs，由于save_top_k=1的限制，系统仍会只保留最新的一个检查点

解决方案

要实现真正周期性保存多个检查点的功能，需要同时配置两个参数：

checkpoint_callback = ModelCheckpoint(
    dirpath='checkpoints/every_10_epochs',
    filename='epoch-{epoch:02d}',
    every_n_epochs=10,
    save_top_k=-1,  # 保存所有检查点
)

其中：

• every_n_epochs=10指定保存频率
• save_top_k=-1表示保留所有生成的检查点文件（不删除任何检查点）

进阶配置选项

PyTorch Lightning的ModelCheckpoint提供了丰富的配置选项，可以根据不同需求灵活组合：

1. 按指标保存最佳模型：

ModelCheckpoint(
    monitor='val_loss',
    mode='min',
    save_top_k=3  # 只保留验证损失最小的3个检查点
)

2. 结合周期性和最佳模型保存：

ModelCheckpoint(
    every_n_epochs=5,
    save_top_k=3,
    monitor='val_acc',
    mode='max'
)

3. 自定义文件名模板：

ModelCheckpoint(
    filename='model-{epoch}-{val_loss:.2f}'
)

最佳实践建议

1. 对于长期训练任务，建议同时配置周期保存和最佳模型保存
2. 注意检查点文件会占用大量磁盘空间，特别是在保存所有检查点时
3. 可以结合TensorBoard或MLFlow等工具记录训练过程，减少对检查点的依赖
4. 对于生产环境，建议设置save_top_k为合理数值，避免磁盘空间耗尽

理解这些机制后，开发者就能更好地利用PyTorch Lightning的模型检查点功能，在训练过程中保存所需的关键节点模型状态。