没有显卡、不想下载模型权重?canifinetune CPU 离线烟雾训练全流程演示

原创2026-10-27 18:16:541,754 阅读

没有显卡、不想下载模型权重?canifinetune CPU 离线烟雾训练全流程演示

canifinetune 是一个 Hugging Face 模型微调资源估算工具:它能在不安装 PyTorch、不下载模型权重的情况下,估算你的 GPU 能否跑完一次 LoRA/QLoRA 微调,并给出一份可直接运行的训练脚本(recipe)。如果你没有显卡、也不想在本地存几百 MB 的模型权重,它内置了一条 **CPU 离线烟雾训练(offline smoke training)**路径:本地随机生成一个微型模型,在纯 CPU 上完成"加载 → 真实参数更新 → 保存 adapter → 重新加载推理"的完整闭环。本文将带你完整走一遍这条路径。

canifinetune CPU 离线烟雾训练架构:模型元数据与 GPU 显存配置汇入估算器与推荐器,本地生成的微型模型驱动 recipe 执行并产出证据

为什么需要 CPU 离线烟雾训练?

大多数人体验微调工具的门槛有三个:

  1. 要有 NVIDIA 显卡:QLoRA 和 8 位优化器依赖 CUDA;
  2. 要下载模型权重:0.5B 模型也要约 988 MB;
  3. 怕浪费显存:一次 OOM 就劝退了。

canifinetune 的烟雾训练同时绕开这三点:

  • smoke-model 命令在本地随机创建一个 2 层、hidden_size=32 的微型 Qwen2 架构模型(源码见 src/canifinetune/training/smoke.py),从不联网下载权重;
  • 使用 CPU 版 PyTorch wheel + fp32 精度,任何一台 Linux 机器(含 CI 环境)都能跑;
  • 全流程只需 2 次 optimizer update,几秒钟完成,却覆盖了与 GPU 训练相同的代码路径:tokenization、标签构建、参数更新、分阶段保存、重新加载生成。

💡 注意:烟雾训练的目的是验证管线,不是验证微调质量。随机权重的微型模型生成的文本没有语义,这是正常的。

环境准备:安装核心包与 CPU 训练依赖

在一个空目录中创建 Python 3.12 虚拟环境(训练资格化要求 3.12):

python3.12 -m venv .venv
source .venv/bin/activate
export PYTHONUTF8=1

先安装核心包,体验一次"零权重"估算:

python -m pip install canifinetune==0.4.1
canifinetune estimate --model Qwen/Qwen2.5-1.5B-Instruct --method qlora --gpu-vram-gb 16 --offline

即使加上了 --offline,它也不会加载任何权重,而是基于内置的模型元数据目录(catalogue)算出规划预算。接着安装 CPU 版 PyTorch 与训练扩展:

python -m pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cpu
python -m pip install -c https://raw.githubusercontent.com/DaoyuanLi2816/can-i-finetune-this/v0.4.1/constraints/train-recommended.txt "canifinetune[train]==0.4.1"

其中 -c 指向的 constraints/train-recommended.txt 会锁定经过资格化验证的 Transformers/PEFT/Accelerate 版本组合,避免自行升级踩坑。

canifinetune 本地 demo 界面:左侧填写模型与训练配置,右侧展示 8.42 GiB 显存预算分解与 YES 结论

上面的界面是 canifinetune demo 启动的本地网页(127.0.0.1:8765),和 CLI 估算共用同一个 Python 核心。CLI 党直接用命令即可。

第一步:smoke-model 本地生成微型模型

canifinetune smoke-model --output tiny-local

执行后,tiny-local/ 目录里会出现一个完整的"模型":随机初始化的权重、一个 300 词表的小 BPE tokenizer,以及对应的 chat template。它由 create_smoke_model 创建,固定随机种子 42,保证可复现。

关键点:

  • 输出目录必须为空,目录已存在且非空会直接报错,防止误覆盖;
  • 模型结构是 2 层 Transformer,hidden_size=32——小到 CPU 几秒就能前向一次,但又是一个合法的 Qwen2ForCausalLM,能走真实的 transformers 加载管线。

第二步:recipe 生成 CPU LoRA 训练配方

canifinetune recipe --model tiny-local --method lora --device cpu --base-dtype fp32 --optimizer adamw_torch --seq-len 128 --max-steps 2 --grad-accum 1 --offline --output cpu-recipe

各参数对应 CPU 路径的硬性要求(详见 docs/troubleshooting.md):

参数 含义
--model tiny-local 指向本地目录而非 Hub 模型 ID
--method lora CPU 只支持 full/LoRA;QLoRA 需要 CUDA
--device cpu + --base-dtype fp32 CPU 必须显式声明 fp32
--optimizer adamw_torch 8 位优化器(paged_adamw_8bit)依赖 CUDA,CPU 用标准 AdamW
--offline 离线模式,只使用本地目录与缓存元数据
--max-steps 2 只做 2 次真实更新,秒级完成

生成完成后,cpu-recipe/ 里是一份可读的完整配方:config.yaml 风格的严格校验配置、data/sample.jsonl 合成样本、train.py / eval_smoke.py 入口脚本,以及 dataset_format.md 数据契约说明。仓库里的 examples/tiny_gpt2_lora_smoke/ 目录就是一份现成的参考配方。

第三步:CPU 上执行训练

python cpu-recipe/train.py --config cpu-recipe/config.yaml

这一次,训练代码会真实地在 CPU 上执行:

  1. 从 tiny-local/ 加载微型模型与 tokenizer;
  2. 挂载 LoRA adapter,构建因果语言标签;
  3. 用 AdamW 完成 2 次真实的反向传播与参数更新;
  4. 分阶段保存 adapter(output/adapter/ 只在保存成功后才出现);
  5. 写入运行回执 output/run.json。

第四步:eval_smoke 重新加载验证

python cpu-recipe/eval_smoke.py --output-dir cpu-recipe/output --max-new-tokens 2

验证逻辑是:加载固定的 base 模型 + 刚保存的 adapter,生成 2 个 token 并确认退出码为 0。如果 adapter 保存有损或加载失败,这一步会明确报错,而不是静默忽略。

如何判断这次烟雾训练成功了?

打开 output/run.json,检查两个条件(依据 docs/quickstart.md 的验收标准):

  • status 字段为 success,且更新次数等于你要求的 --max-steps(这里是 2);
  • output/adapter/ 目录已生成;eval_smoke 退出码为 0。

再补充三点容易踩的坑:

  • 输出目录必须全新:已有产物永远不会被覆盖,换目录重新跑即可;
  • CPU wheel 跑不了 QLoRA:paged_adamw_8bit 与量化加载都要求 CUDA;
  • run.json 不是断点续训检查点:它是推理/评估工件,不含完整的 optimizer/RNG 恢复状态。

小结:没有显卡也能走通微调全链路

环节 命令 是否联网
显存估算 canifinetune estimate --offline 否
本地微型模型 canifinetune smoke-model --output tiny-local 否
生成训练配方 canifinetune recipe --device cpu --offline 否
CPU 训练 python cpu-recipe/train.py 否
重载验证 python cpu-recipe/eval_smoke.py 否

整个流程证明了三件事:canifinetune 的核心估算零权重依赖;生成的 recipe 在 CPU 上可真实执行;保存/重载链路是完整的。当你之后拿到 GPU,只需把 --device cpu --base-dtype fp32 换成 CUDA 配置、把模型换成真实的 Hub 模型 ID,同样的估算与配方体系就能直接用于正式微调——这正是 docs/workflows.md 与 docs/quickstart.md 描述的"先规划、后执行"工作流。

登录后查看全文
can-i-finetune-this