llama-160m进阶指南:如何用optimizer.pt和scheduler.pt从断点恢复继续训练
llama-160m进阶指南:如何用optimizer.pt和scheduler.pt从断点恢复继续训练
llama-160m 是一个 1.6 亿参数的 LLaMA 风格文本生成小模型(SpecInfer 论文的小型投机模型),本仓库完整保存了它的训练快照。本文带你读懂 optimizer.pt 与 scheduler.pt 这两个断点文件,并掌握用 HuggingFace Trainer 从断点恢复继续训练的完整方法,让中断的训练任务无缝接力。
checkpoint 文件全家福:llama-160m 训练快照逐文件解读
这个仓库不只是模型权重,而是一份"训练现场的完整备份"。训练中断后,只有权重是不够的——优化器状态、学习率进度、随机数状态缺一不可。下面这张表帮你快速建立整体认知 📦:
| 文件 | 作用 | 断点恢复时的角色 |
|---|---|---|
| model.safetensors / pytorch_model.bin | 模型权重(约 650MB,float32) | 恢复参数本身 |
| optimizer.pt | AdamW 优化器状态(约 1.3GB) | 恢复动量与二阶矩,避免学习率"冷启动" |
| scheduler.pt | 学习率调度器进度(仅约 600 字节) | 恢复"当前该用多少学习率" |
| rng_state.pth~rng_state_3.pth | 4 个进程的随机数状态 | 恢复数据采样与 Dropout 的随机序列 |
| training_args.bin | 训练超参数(pickle 格式) | 确保续训配置与原训练一致 |
| trainer_state.json | 训练进度与 loss 日志 | 记录 global_step 与损失历史 |
| config.json、tokenizer.json | 模型结构与分词器 | 加载模型结构 |
💡 一个细节:rng_state_0 到 rng_state_3 共 4 个随机数文件,说明这份模型当初是用 4 个分布式进程(4 卡)训练保存的,续训时设备数需要对得上。
optimizer.pt 解析:为什么它比模型权重还大?
打开 optimizer.pt 会发现它约 1.3GB,几乎是 model.safetensors(约 650MB)的两倍——这正是 AdamW 类优化器的特征:
- 参数本身:1.6 亿个权重(约 640MB,float32)
- 一阶矩 m(动量):每个参数对应一个,大小与权重相同
- 二阶矩 v(二阶矩估计):再一份同样的大小
三者相加 ≈ 1.3GB。如果恢复训练时丢掉 optimizer.pt,优化器的动量会从零重新积累,模型在断点附近会出现明显的 loss 抖动,相当于"换了个新手司机继续开车"。
scheduler.pt 与学习率余弦衰减:恢复学习率的关键
scheduler.pt 体积很小(约 600 字节),但价值很高。它记录了学习率调度器执行到第几步,决定了下一步该用多大的学习率。
从 trainer_state.json 的日志可以还原出这次训练的学习率轨迹:
- 训练初期(step 100):learning_rate ≈
4.998e-05 - 训练末期(step 301500):learning_rate ≈
7.43e-08
这是一个典型的余弦退火曲线——学习率从 5e-5 平滑衰减到接近 0。如果续训时只恢复权重、不恢复 scheduler.pt,学习率会重新从 5e-5 起步,对一个已经训练到后期的模型来说等于"油门踩到底",loss 会瞬间反弹。
当前训练进度可在这几行直接确认:
- trainer_state.json:
epoch≈ 0.9985,global_step为 301500 - 文件末尾的
"max_steps": 301949:原计划共 301949 步,只剩约 450 步即可跑完 1 个 epoch
HuggingFace Trainer 断点续训三步法
使用 HuggingFace Transformers 的 Trainer 续训,核心就是一个参数:--resume_from_checkpoint。步骤如下:
第 1 步:确认 checkpoint 目录完整
确保目录中同时存在 optimizer.pt、scheduler.pt、rng_state*.pth、training_args.bin 与 trainer_state.json。缺任何一件,恢复的完整度都会打折扣(见下文排查清单)。
第 2 步:使用相同配置启动训练
- 模型结构取自 config.json:
model_type为llama,12 层、hidden_size 768、词表 32000 - 分词器由 tokenizer_config.json 指定为
LlamaTokenizer,配套 tokenizer.model 使用 - 训练超参数(batch、学习率、warmup 等)从 training_args.bin 恢复,不要手动改动,否则与
scheduler.pt里记录的进度不匹配
python train.py \
--model_name_or_path ./ \
--resume_from_checkpoint ./ \
--per_device_train_batch_size 16 \
--gradient_accumulation_steps 1
第 3 步:核对恢复日志
Trainer 启动时会打印类似内容,逐项核对:
Loading model checkpoint from ./
Loading optimizer state from ./
Loading rng state from ./
Continuing training from checkpoint, will skip to saved global_step (301500)
看到 will skip to saved global_step 即说明数据加载器正确跳过了已训练过的样本,断点恢复成功 ✅
断点恢复常见坑与排查清单
⚠️ 新手最容易踩的几个坑:
- 只拷了权重,丢了 optimizer.pt → 续训退化成"微调",loss 出现 V 形反弹。对策:checkpoint 目录整体备份,不要挑文件复制。
- 设备数与 rng_state 数量不符 → 本仓库有 4 个
rng_state_*.pth(对应 4 卡)。单卡续训时 Trainer 只会读取rng_state.pth,随机性会有偏差但不致命;多卡续训建议保持 4 卡。 - 改了超参数再续训 → 学习率调度按 training_args.bin 中的原始计划推进,改 batch size 会让
max_steps计算错位。坚持"原配置续训"。 - 文件被截断(常见于 Git LFS 未拉全) → 用
torch.load校验 optimizer.pt 能否正常反序列化,报错即说明文件不完整,需重新下载。
快速自检三步:
# 1. 校验优化器状态可加载
python -c "import torch; print(torch.load('optimizer.pt'))"
# 2. 查看当前进度
python -c "import json; s=json.load(open('trainer_state.json')); print(s['global_step'], s['max_steps'])"
# 3. 核对随机数文件数量
ls rng_state*.pth
如何验证断点恢复成功:loss 与 global_step 对齐
恢复后不要急着看效果,先验证两件事:
- global_step 连续性:续训后第一步应为 301501 附近,而不是从 0 重新计数
- loss 曲线对齐:本模型末尾 loss 稳定在 2.72 左右(见 trainer_state.json 日志末尾),续训后首步 loss 应与之接近而非跳回 2.75+;若跳变明显,优先检查
optimizer.pt是否真正加载 - 学习率位置:续训步的学习率应落在衰减曲线末端(1e-07 量级),而不是 5e-5 峰值
三者全部对齐,说明权重、优化器、调度器、随机数四层状态都已正确接力 🎉
总结
- llama-160m 仓库是一份完整的训练快照:权重 + optimizer.pt + scheduler.pt + 4 份随机数状态 + trainer_state.json
optimizer.pt存的是 AdamW 的一阶/二阶矩,体积约为权重 2 倍,是"平滑续训"的核心scheduler.pt体积极小,却守护着余弦衰减学习率的进度,不可省略- 用
--resume_from_checkpoint指向含全套文件的目录、保持原配置,即可实现无缝断点恢复 - 验证标准:global_step 连续、loss 无跳变、学习率落在曲线正确位置