断点续训完全指南:m2m100_rup_ur_to_rur 的 optimizer.pt、scheduler.pt 与 rng_state.pth 详解
断点续训完全指南:m2m100_rup_ur_to_rur 的 optimizer.pt、scheduler.pt 与 rng_state.pth 详解
m2m100_rup_ur_to_rur 是一个基于 Hugging Face m2m100_418M 微调的俄语文本转写(Transliteration)模型,可将西里尔字母书写的乌克兰语字母文本(rup)转写为俄语字母文本(rur)。这个仓库最大的特色是:它不是一个"只含权重"的模型包,而是一个完整的训练检查点(Checkpoint)——附带了 optimizer.pt、scheduler.pt、rng_state.pth 等断点续训所需的全部状态文件,是学习"断点续训(Resume Training)"机制的绝佳样本。
一、先认识这个仓库:一个"完整检查点"长什么样?
打开仓库,你通常会见到下面这些文件:
| 文件 | 大小(拉取 LFS 后) | 作用一句话 |
|---|---|---|
| model.safetensors | ~1.9 GB | 模型权重本体 |
| optimizer.pt | ~4.6 MB | 优化器状态(AdamW 动量等) |
| scheduler.pt | ~1 KB | 学习率调度器状态 |
| rng_state.pth | ~14 KB | 随机数种子状态 |
| training_args.bin | ~5.4 KB | 训练超参数配置 |
| trainer_state.json | ~6 KB | 训练进度与日志历史 |
| config.json | ~1 KB | 模型结构配置 |
| generation_config.json | 小 | 推理生成参数(beam search 等) |
💡 其中
.pt/.pth/.bin/.safetensors这类大文件都通过 Git LFS 存储(见 .gitattributes),本地看到的可能是几百字节的指针文件,真正内容需要git lfs pull才会下载。
从 trainer_state.json 可以读出训练"快照":
global_step: 98957,总计划max_steps: 222651(num_train_epochs: 9,当前epoch: 4.0)train_batch_size: 64,每 500 步保存一次检查点(save_steps: 500)- 最佳模型:
eval_bleu_score达到 90.16,eval_loss约 0.0244
📌 换句话说,这个检查点冻结在第 98957 步,训练只完成了约 44%,剩下的 5.5 个 epoch 可以随时"接着跑"。
二、optimizer.pt:优化器状态,决定"参数怎么继续更新"
模型训练每走一步,优化器(本项目为 AdamW)除了更新权重,还会维护每个参数的**一阶动量(m)和二阶动量(v)**估计,用来平滑梯度方向、缩放学习步长。
optimizer.pt 保存的正是这份动量记忆。它的关键价值在于:
- 让梯度更新"无缝衔接":如果丢掉它,恢复训练时 AdamW 的动量从零重新积累,loss 通常会出现短暂波动甚至尖峰;
- 避免"冷启动"效应:优化器前几百步的状态和稳态差异很大,续训时保留它等于让训练"失忆最少"。
⚖️ 提示:optimizer 状态的大小与优化器种类和参数个数相关。本项目中 optimizer.pt 约 4.6 MB,相对 1.9 GB 的权重文件很小,说明其中可能只保留了超参组(param_groups)信息而清理了逐参数动量——即便如此,它仍是 Hugging Face Trainer 识别"这是一个可续训检查点"的标志性文件之一。
三、scheduler.pt:学习率调度器,让 LR 曲线"不断线"
scheduler.pt 文件很小(本项目仅 ~1 KB),但作用不小:它记录学习率调度器当前所处的步数位置和当前学习率。
对照 trainer_state.json 中的 log_history,可以还原出本项目的完整学习率曲线:
| 步数 | 学习率 | 阶段 |
|---|---|---|
| 4000 | 1.8e-06 | 线性 Warmup 预热 |
| 24000 | 1.0e-05 | 峰值(预热结束) |
| 48000 | 9.6e-06 | 缓慢衰减 |
| 96000 | 7.0e-06 | 衰减中段(当前检查点附近) |
📌 如果没有 scheduler.pt,恢复训练时调度器可能把"第 98957 步"误判为"第 0 步",学习率会重新从预热值爬升,破坏原有训练节奏,白白浪费算力。有了它,学习率会精准地停在 7.0e-06 附近继续向下走。
四、rng_state.pth:随机数种子,让"概率"也可复现
rng_state.pth 保存的是 Python random、NumPy 和 PyTorch 三个随机引擎的完整内部状态(本项目约 14 KB)。
你可能会问:训练都跑到 98957 步了,随机状态为什么还要保存?因为 m2m100 架构中大量使用了随机性,本项目 config.json 里就有:
dropout: 0.1、attention_dropout: 0.1—— 注意力与隐层随机丢弃decoder_layerdrop: 0.05、encoder_layerdrop: 0.05—— 整层随机丢弃- 训练集每个 epoch 的样本打乱顺序
保存随机状态后,续训时的每一层丢弃、每一次数据洗牌都与中断前完全同分布,训练行为具有可复现性——这对调试"为什么 loss 突然抖动"这类问题尤其有用。
五、training_args.bin 与 trainer_state.json:断点续训的"总指挥"
前三个文件保证"状态连续",另外两个文件则回答"从哪里、按什么配置继续":
- training_args.bin:训练超参数(batch size、学习率、save_steps、epochs 等),恢复时必须与原始训练一致;
- trainer_state.json:当前步数、epoch、loss/bleu 日志、best checkpoint 记录,Trainer 恢复时以其中的
global_step为准。
六、断点续训操作步骤(最快配置方法)
第 1 步:拉取完整检查点
git clone https://gitcode.com/hf_mirrors/Mavkif/m2m100_rup_ur_to_rur
cd m2m100_rup_ur_to_rur
git lfs pull
第 2 步:确认文件完整
正常拉取后,optimizer.pt 应为 ~4.6 MB、model.safetensors 为 ~1.9 GB。如果只有几百字节,说明 LFS 对象未下载,续训会失败。
第 3 步:在训练脚本中指定恢复点
使用 Hugging Face Transformers 的 TrainingArguments 时,只需:
- 设置
resume_from_checkpoint="."(指向本仓库目录) - 保持
max_steps、train_batch_size、数据顺序等与 trainer_state.json 记录一致
Trainer 会自动依次加载:trainer_state.json(定位步数)→ training_args.bin(超参)→ model.safetensors(权重)→ optimizer.pt(优化器)→ scheduler.pt(学习率)→ rng_state.pth(随机性),从第 98957 步继续跑到第 222651 步。
七、常见坑点清单
- LFS 指针未拉取:本地
optimizer.pt只有 100 多字节,报错"not a valid checkpoint"。解法:git lfs pull; - 学习率"重新预热":只加载权重、漏掉 scheduler.pt,LR 曲线从头开始,训练节奏被破坏;
- loss 短暂回升:优化器动量缺失时的正常现象,通常几百步内恢复;
- 配置不一致:改了
train_batch_size或数据量却沿用旧max_steps,会导致总训练时长错乱——恢复前请核对 trainer_state.json 中的max_steps: 222651。
八、总结
| 文件 | 保住什么 | 丢了会怎样 |
|---|---|---|
| model.safetensors | 模型权重 | 只能从头训练 |
| optimizer.pt | 优化器动量 | 续训初期 loss 抖动 |
| scheduler.pt | 学习率进度 | LR 曲线断线重预热 |
| rng_state.pth | 随机状态 | 无法精确复现训练 |
| trainer_state.json | 训练进度 | 不知道从哪一步恢复 |
m2m100_rup_ur_to_rur 作为一个带着完整断点状态的检查点,正好展示了工业级"断点续训"的完整拼图:六个状态文件各司其职,任何一个缺失都会让"续训"退化成"半重启"。下次当你保存自己的训练检查点时,记得问一句:这六个文件,我都有了吗?