没有显卡、不想下载模型权重?canifinetune CPU 离线烟雾训练全流程演示
没有显卡、不想下载模型权重?canifinetune CPU 离线烟雾训练全流程演示
canifinetune 是一个 Hugging Face 模型微调资源估算工具:它能在不安装 PyTorch、不下载模型权重的情况下,估算你的 GPU 能否跑完一次 LoRA/QLoRA 微调,并给出一份可直接运行的训练脚本(recipe)。如果你没有显卡、也不想在本地存几百 MB 的模型权重,它内置了一条 **CPU 离线烟雾训练(offline smoke training)**路径:本地随机生成一个微型模型,在纯 CPU 上完成"加载 → 真实参数更新 → 保存 adapter → 重新加载推理"的完整闭环。本文将带你完整走一遍这条路径。
为什么需要 CPU 离线烟雾训练?
大多数人体验微调工具的门槛有三个:
- 要有 NVIDIA 显卡:QLoRA 和 8 位优化器依赖 CUDA;
- 要下载模型权重:0.5B 模型也要约 988 MB;
- 怕浪费显存:一次 OOM 就劝退了。
canifinetune 的烟雾训练同时绕开这三点:
smoke-model命令在本地随机创建一个 2 层、hidden_size=32 的微型 Qwen2 架构模型(源码见 src/canifinetune/training/smoke.py),从不联网下载权重;- 使用 CPU 版 PyTorch wheel + fp32 精度,任何一台 Linux 机器(含 CI 环境)都能跑;
- 全流程只需 2 次 optimizer update,几秒钟完成,却覆盖了与 GPU 训练相同的代码路径:tokenization、标签构建、参数更新、分阶段保存、重新加载生成。
💡 注意:烟雾训练的目的是验证管线,不是验证微调质量。随机权重的微型模型生成的文本没有语义,这是正常的。
环境准备:安装核心包与 CPU 训练依赖
在一个空目录中创建 Python 3.12 虚拟环境(训练资格化要求 3.12):
python3.12 -m venv .venv
source .venv/bin/activate
export PYTHONUTF8=1
先安装核心包,体验一次"零权重"估算:
python -m pip install canifinetune==0.4.1
canifinetune estimate --model Qwen/Qwen2.5-1.5B-Instruct --method qlora --gpu-vram-gb 16 --offline
即使加上了 --offline,它也不会加载任何权重,而是基于内置的模型元数据目录(catalogue)算出规划预算。接着安装 CPU 版 PyTorch 与训练扩展:
python -m pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cpu
python -m pip install -c https://raw.githubusercontent.com/DaoyuanLi2816/can-i-finetune-this/v0.4.1/constraints/train-recommended.txt "canifinetune[train]==0.4.1"
其中 -c 指向的 constraints/train-recommended.txt 会锁定经过资格化验证的 Transformers/PEFT/Accelerate 版本组合,避免自行升级踩坑。
上面的界面是 canifinetune demo 启动的本地网页(127.0.0.1:8765),和 CLI 估算共用同一个 Python 核心。CLI 党直接用命令即可。
第一步:smoke-model 本地生成微型模型
canifinetune smoke-model --output tiny-local
执行后,tiny-local/ 目录里会出现一个完整的"模型":随机初始化的权重、一个 300 词表的小 BPE tokenizer,以及对应的 chat template。它由 create_smoke_model 创建,固定随机种子 42,保证可复现。
关键点:
- 输出目录必须为空,目录已存在且非空会直接报错,防止误覆盖;
- 模型结构是 2 层 Transformer,hidden_size=32——小到 CPU 几秒就能前向一次,但又是一个合法的
Qwen2ForCausalLM,能走真实的 transformers 加载管线。
第二步:recipe 生成 CPU LoRA 训练配方
canifinetune recipe --model tiny-local --method lora --device cpu --base-dtype fp32 --optimizer adamw_torch --seq-len 128 --max-steps 2 --grad-accum 1 --offline --output cpu-recipe
各参数对应 CPU 路径的硬性要求(详见 docs/troubleshooting.md):
| 参数 | 含义 |
|---|---|
--model tiny-local |
指向本地目录而非 Hub 模型 ID |
--method lora |
CPU 只支持 full/LoRA;QLoRA 需要 CUDA |
--device cpu + --base-dtype fp32 |
CPU 必须显式声明 fp32 |
--optimizer adamw_torch |
8 位优化器(paged_adamw_8bit)依赖 CUDA,CPU 用标准 AdamW |
--offline |
离线模式,只使用本地目录与缓存元数据 |
--max-steps 2 |
只做 2 次真实更新,秒级完成 |
生成完成后,cpu-recipe/ 里是一份可读的完整配方:config.yaml 风格的严格校验配置、data/sample.jsonl 合成样本、train.py / eval_smoke.py 入口脚本,以及 dataset_format.md 数据契约说明。仓库里的 examples/tiny_gpt2_lora_smoke/ 目录就是一份现成的参考配方。
第三步:CPU 上执行训练
python cpu-recipe/train.py --config cpu-recipe/config.yaml
这一次,训练代码会真实地在 CPU 上执行:
- 从
tiny-local/加载微型模型与 tokenizer; - 挂载 LoRA adapter,构建因果语言标签;
- 用 AdamW 完成 2 次真实的反向传播与参数更新;
- 分阶段保存 adapter(
output/adapter/只在保存成功后才出现); - 写入运行回执
output/run.json。
第四步:eval_smoke 重新加载验证
python cpu-recipe/eval_smoke.py --output-dir cpu-recipe/output --max-new-tokens 2
验证逻辑是:加载固定的 base 模型 + 刚保存的 adapter,生成 2 个 token 并确认退出码为 0。如果 adapter 保存有损或加载失败,这一步会明确报错,而不是静默忽略。
如何判断这次烟雾训练成功了?
打开 output/run.json,检查两个条件(依据 docs/quickstart.md 的验收标准):
status字段为success,且更新次数等于你要求的--max-steps(这里是 2);output/adapter/目录已生成;eval_smoke 退出码为 0。
再补充三点容易踩的坑:
- 输出目录必须全新:已有产物永远不会被覆盖,换目录重新跑即可;
- CPU wheel 跑不了 QLoRA:
paged_adamw_8bit与量化加载都要求 CUDA; run.json不是断点续训检查点:它是推理/评估工件,不含完整的 optimizer/RNG 恢复状态。
小结:没有显卡也能走通微调全链路
| 环节 | 命令 | 是否联网 |
|---|---|---|
| 显存估算 | canifinetune estimate --offline |
否 |
| 本地微型模型 | canifinetune smoke-model --output tiny-local |
否 |
| 生成训练配方 | canifinetune recipe --device cpu --offline |
否 |
| CPU 训练 | python cpu-recipe/train.py |
否 |
| 重载验证 | python cpu-recipe/eval_smoke.py |
否 |
整个流程证明了三件事:canifinetune 的核心估算零权重依赖;生成的 recipe 在 CPU 上可真实执行;保存/重载链路是完整的。当你之后拿到 GPU,只需把 --device cpu --base-dtype fp32 换成 CUDA 配置、把模型换成真实的 Hub 模型 ID,同样的估算与配方体系就能直接用于正式微调——这正是 docs/workflows.md 与 docs/quickstart.md 描述的"先规划、后执行"工作流。

