llama-160m进阶指南:如何用optimizer.pt和scheduler.pt从断点恢复继续训练

原创2026-10-20 19:50:022,001 阅读
文章标签:大模型基础模型

llama-160m进阶指南:如何用optimizer.pt和scheduler.pt从断点恢复继续训练

llama-160m 是一个 1.6 亿参数的 LLaMA 风格文本生成小模型(SpecInfer 论文的小型投机模型),本仓库完整保存了它的训练快照。本文带你读懂 optimizer.pt 与 scheduler.pt 这两个断点文件,并掌握用 HuggingFace Trainer 从断点恢复继续训练的完整方法,让中断的训练任务无缝接力。

checkpoint 文件全家福:llama-160m 训练快照逐文件解读

这个仓库不只是模型权重,而是一份"训练现场的完整备份"。训练中断后,只有权重是不够的——优化器状态、学习率进度、随机数状态缺一不可。下面这张表帮你快速建立整体认知 📦:

文件 作用 断点恢复时的角色
model.safetensors / pytorch_model.bin 模型权重(约 650MB,float32) 恢复参数本身
optimizer.pt AdamW 优化器状态(约 1.3GB) 恢复动量与二阶矩,避免学习率"冷启动"
scheduler.pt 学习率调度器进度(仅约 600 字节) 恢复"当前该用多少学习率"
rng_state.pth~rng_state_3.pth 4 个进程的随机数状态 恢复数据采样与 Dropout 的随机序列
training_args.bin 训练超参数(pickle 格式) 确保续训配置与原训练一致
trainer_state.json 训练进度与 loss 日志 记录 global_step 与损失历史
config.json、tokenizer.json 模型结构与分词器 加载模型结构

💡 一个细节:rng_state_0 到 rng_state_3 共 4 个随机数文件,说明这份模型当初是用 4 个分布式进程(4 卡)训练保存的,续训时设备数需要对得上。

optimizer.pt 解析:为什么它比模型权重还大?

打开 optimizer.pt 会发现它约 1.3GB,几乎是 model.safetensors(约 650MB)的两倍——这正是 AdamW 类优化器的特征:

  • 参数本身:1.6 亿个权重(约 640MB,float32)
  • 一阶矩 m(动量):每个参数对应一个,大小与权重相同
  • 二阶矩 v(二阶矩估计):再一份同样的大小

三者相加 ≈ 1.3GB。如果恢复训练时丢掉 optimizer.pt,优化器的动量会从零重新积累,模型在断点附近会出现明显的 loss 抖动,相当于"换了个新手司机继续开车"。

scheduler.pt 与学习率余弦衰减:恢复学习率的关键

scheduler.pt 体积很小(约 600 字节),但价值很高。它记录了学习率调度器执行到第几步,决定了下一步该用多大的学习率。

从 trainer_state.json 的日志可以还原出这次训练的学习率轨迹:

  • 训练初期(step 100):learning_rate ≈ 4.998e-05
  • 训练末期(step 301500):learning_rate ≈ 7.43e-08

这是一个典型的余弦退火曲线——学习率从 5e-5 平滑衰减到接近 0。如果续训时只恢复权重、不恢复 scheduler.pt,学习率会重新从 5e-5 起步,对一个已经训练到后期的模型来说等于"油门踩到底",loss 会瞬间反弹。

当前训练进度可在这几行直接确认:

  • trainer_state.json:epoch ≈ 0.9985,global_step 为 301500
  • 文件末尾的 "max_steps": 301949:原计划共 301949 步,只剩约 450 步即可跑完 1 个 epoch

HuggingFace Trainer 断点续训三步法

使用 HuggingFace Transformers 的 Trainer 续训,核心就是一个参数:--resume_from_checkpoint。步骤如下:

第 1 步:确认 checkpoint 目录完整

确保目录中同时存在 optimizer.pt、scheduler.pt、rng_state*.pth、training_args.bin 与 trainer_state.json。缺任何一件,恢复的完整度都会打折扣(见下文排查清单)。

第 2 步:使用相同配置启动训练

  • 模型结构取自 config.json:model_type 为 llama,12 层、hidden_size 768、词表 32000
  • 分词器由 tokenizer_config.json 指定为 LlamaTokenizer,配套 tokenizer.model 使用
  • 训练超参数(batch、学习率、warmup 等)从 training_args.bin 恢复,不要手动改动,否则与 scheduler.pt 里记录的进度不匹配
python train.py \
  --model_name_or_path ./ \
  --resume_from_checkpoint ./ \
  --per_device_train_batch_size 16 \
  --gradient_accumulation_steps 1

第 3 步:核对恢复日志

Trainer 启动时会打印类似内容,逐项核对:

Loading model checkpoint from ./
Loading optimizer state from ./
Loading rng state from ./
Continuing training from checkpoint, will skip to saved global_step (301500)

看到 will skip to saved global_step 即说明数据加载器正确跳过了已训练过的样本,断点恢复成功 ✅

断点恢复常见坑与排查清单

⚠️ 新手最容易踩的几个坑:

  1. 只拷了权重,丢了 optimizer.pt → 续训退化成"微调",loss 出现 V 形反弹。对策:checkpoint 目录整体备份,不要挑文件复制。
  2. 设备数与 rng_state 数量不符 → 本仓库有 4 个 rng_state_*.pth(对应 4 卡)。单卡续训时 Trainer 只会读取 rng_state.pth,随机性会有偏差但不致命;多卡续训建议保持 4 卡。
  3. 改了超参数再续训 → 学习率调度按 training_args.bin 中的原始计划推进,改 batch size 会让 max_steps 计算错位。坚持"原配置续训"。
  4. 文件被截断(常见于 Git LFS 未拉全) → 用 torch.load 校验 optimizer.pt 能否正常反序列化,报错即说明文件不完整,需重新下载。

快速自检三步:

# 1. 校验优化器状态可加载
python -c "import torch; print(torch.load('optimizer.pt'))"

# 2. 查看当前进度
python -c "import json; s=json.load(open('trainer_state.json')); print(s['global_step'], s['max_steps'])"

# 3. 核对随机数文件数量
ls rng_state*.pth

如何验证断点恢复成功:loss 与 global_step 对齐

恢复后不要急着看效果,先验证两件事:

  • global_step 连续性:续训后第一步应为 301501 附近,而不是从 0 重新计数
  • loss 曲线对齐:本模型末尾 loss 稳定在 2.72 左右(见 trainer_state.json 日志末尾),续训后首步 loss 应与之接近而非跳回 2.75+;若跳变明显,优先检查 optimizer.pt 是否真正加载
  • 学习率位置:续训步的学习率应落在衰减曲线末端(1e-07 量级),而不是 5e-5 峰值

三者全部对齐,说明权重、优化器、调度器、随机数四层状态都已正确接力 🎉

总结

  • llama-160m 仓库是一份完整的训练快照:权重 + optimizer.pt + scheduler.pt + 4 份随机数状态 + trainer_state.json
  • optimizer.pt 存的是 AdamW 的一阶/二阶矩,体积约为权重 2 倍,是"平滑续训"的核心
  • scheduler.pt 体积极小,却守护着余弦衰减学习率的进度,不可省略
  • 用 --resume_from_checkpoint 指向含全套文件的目录、保持原配置,即可实现无缝断点恢复
  • 验证标准:global_step 连续、loss 无跳变、学习率落在曲线正确位置
登录后查看全文
llama-160m