断点续训完全指南:m2m100_rup_ur_to_rur 的 optimizer.pt、scheduler.pt 与 rng_state.pth 详解

原创2026-11-11 17:41:40454 阅读

断点续训完全指南:m2m100_rup_ur_to_rur 的 optimizer.pt、scheduler.pt 与 rng_state.pth 详解

m2m100_rup_ur_to_rur 是一个基于 Hugging Face m2m100_418M 微调的俄语文本转写(Transliteration)模型,可将西里尔字母书写的乌克兰语字母文本(rup)转写为俄语字母文本(rur)。这个仓库最大的特色是:它不是一个"只含权重"的模型包,而是一个完整的训练检查点(Checkpoint)——附带了 optimizer.pt、scheduler.pt、rng_state.pth 等断点续训所需的全部状态文件,是学习"断点续训(Resume Training)"机制的绝佳样本。

一、先认识这个仓库:一个"完整检查点"长什么样?

打开仓库,你通常会见到下面这些文件:

文件 大小(拉取 LFS 后) 作用一句话
model.safetensors ~1.9 GB 模型权重本体
optimizer.pt ~4.6 MB 优化器状态(AdamW 动量等)
scheduler.pt ~1 KB 学习率调度器状态
rng_state.pth ~14 KB 随机数种子状态
training_args.bin ~5.4 KB 训练超参数配置
trainer_state.json ~6 KB 训练进度与日志历史
config.json ~1 KB 模型结构配置
generation_config.json 小 推理生成参数(beam search 等)

💡 其中 .pt / .pth / .bin / .safetensors 这类大文件都通过 Git LFS 存储(见 .gitattributes),本地看到的可能是几百字节的指针文件,真正内容需要 git lfs pull 才会下载。

从 trainer_state.json 可以读出训练"快照":

  • global_step: 98957,总计划 max_steps: 222651(num_train_epochs: 9,当前 epoch: 4.0)
  • train_batch_size: 64,每 500 步保存一次检查点(save_steps: 500)
  • 最佳模型:eval_bleu_score 达到 90.16,eval_loss 约 0.0244

📌 换句话说,这个检查点冻结在第 98957 步,训练只完成了约 44%,剩下的 5.5 个 epoch 可以随时"接着跑"。

二、optimizer.pt:优化器状态,决定"参数怎么继续更新"

模型训练每走一步,优化器(本项目为 AdamW)除了更新权重,还会维护每个参数的**一阶动量(m)和二阶动量(v)**估计,用来平滑梯度方向、缩放学习步长。

optimizer.pt 保存的正是这份动量记忆。它的关键价值在于:

  • 让梯度更新"无缝衔接":如果丢掉它,恢复训练时 AdamW 的动量从零重新积累,loss 通常会出现短暂波动甚至尖峰;
  • 避免"冷启动"效应:优化器前几百步的状态和稳态差异很大,续训时保留它等于让训练"失忆最少"。

⚖️ 提示:optimizer 状态的大小与优化器种类和参数个数相关。本项目中 optimizer.pt 约 4.6 MB,相对 1.9 GB 的权重文件很小,说明其中可能只保留了超参组(param_groups)信息而清理了逐参数动量——即便如此,它仍是 Hugging Face Trainer 识别"这是一个可续训检查点"的标志性文件之一。

三、scheduler.pt:学习率调度器,让 LR 曲线"不断线"

scheduler.pt 文件很小(本项目仅 ~1 KB),但作用不小:它记录学习率调度器当前所处的步数位置和当前学习率。

对照 trainer_state.json 中的 log_history,可以还原出本项目的完整学习率曲线:

步数 学习率 阶段
4000 1.8e-06 线性 Warmup 预热
24000 1.0e-05 峰值(预热结束)
48000 9.6e-06 缓慢衰减
96000 7.0e-06 衰减中段(当前检查点附近)

📌 如果没有 scheduler.pt,恢复训练时调度器可能把"第 98957 步"误判为"第 0 步",学习率会重新从预热值爬升,破坏原有训练节奏,白白浪费算力。有了它,学习率会精准地停在 7.0e-06 附近继续向下走。

四、rng_state.pth:随机数种子,让"概率"也可复现

rng_state.pth 保存的是 Python random、NumPy 和 PyTorch 三个随机引擎的完整内部状态(本项目约 14 KB)。

你可能会问:训练都跑到 98957 步了,随机状态为什么还要保存?因为 m2m100 架构中大量使用了随机性,本项目 config.json 里就有:

  • dropout: 0.1、attention_dropout: 0.1 —— 注意力与隐层随机丢弃
  • decoder_layerdrop: 0.05、encoder_layerdrop: 0.05 —— 整层随机丢弃
  • 训练集每个 epoch 的样本打乱顺序

保存随机状态后,续训时的每一层丢弃、每一次数据洗牌都与中断前完全同分布,训练行为具有可复现性——这对调试"为什么 loss 突然抖动"这类问题尤其有用。

五、training_args.bin 与 trainer_state.json:断点续训的"总指挥"

前三个文件保证"状态连续",另外两个文件则回答"从哪里、按什么配置继续":

  • training_args.bin:训练超参数(batch size、学习率、save_steps、epochs 等),恢复时必须与原始训练一致;
  • trainer_state.json:当前步数、epoch、loss/bleu 日志、best checkpoint 记录,Trainer 恢复时以其中的 global_step 为准。

六、断点续训操作步骤(最快配置方法)

第 1 步:拉取完整检查点

git clone https://gitcode.com/hf_mirrors/Mavkif/m2m100_rup_ur_to_rur
cd m2m100_rup_ur_to_rur
git lfs pull

第 2 步:确认文件完整

正常拉取后,optimizer.pt 应为 ~4.6 MB、model.safetensors 为 ~1.9 GB。如果只有几百字节,说明 LFS 对象未下载,续训会失败。

第 3 步:在训练脚本中指定恢复点

使用 Hugging Face Transformers 的 TrainingArguments 时,只需:

  • 设置 resume_from_checkpoint="."(指向本仓库目录)
  • 保持 max_steps、train_batch_size、数据顺序等与 trainer_state.json 记录一致

Trainer 会自动依次加载:trainer_state.json(定位步数)→ training_args.bin(超参)→ model.safetensors(权重)→ optimizer.pt(优化器)→ scheduler.pt(学习率)→ rng_state.pth(随机性),从第 98957 步继续跑到第 222651 步。

七、常见坑点清单

  • LFS 指针未拉取:本地 optimizer.pt 只有 100 多字节,报错"not a valid checkpoint"。解法:git lfs pull;
  • 学习率"重新预热":只加载权重、漏掉 scheduler.pt,LR 曲线从头开始,训练节奏被破坏;
  • loss 短暂回升:优化器动量缺失时的正常现象,通常几百步内恢复;
  • 配置不一致:改了 train_batch_size 或数据量却沿用旧 max_steps,会导致总训练时长错乱——恢复前请核对 trainer_state.json 中的 max_steps: 222651。

八、总结

文件 保住什么 丢了会怎样
model.safetensors 模型权重 只能从头训练
optimizer.pt 优化器动量 续训初期 loss 抖动
scheduler.pt 学习率进度 LR 曲线断线重预热
rng_state.pth 随机状态 无法精确复现训练
trainer_state.json 训练进度 不知道从哪一步恢复

m2m100_rup_ur_to_rur 作为一个带着完整断点状态的检查点,正好展示了工业级"断点续训"的完整拼图:六个状态文件各司其职,任何一个缺失都会让"续训"退化成"半重启"。下次当你保存自己的训练检查点时,记得问一句:这六个文件,我都有了吗?

登录后查看全文
m2m100_rup_ur_to_rur