RTX 3060 笔记本也能训:Kev 0.6B LoRA 实战记录
RTX 3060 笔记本也能训:Kev 0.6B LoRA 实战记录
当"训练大模型"被默认等同于 H100、集群和动辄数万美元账单时,一个反方向的实验更值得记录:在一台只有 6GB 显存的 RTX 3060 Laptop 上,把 Kev——这个"类 Jev 开源决策模型家族"的最小成员——从头 LoRA 微调出可用的领域模型,并对照官方预训练版本量化差距。社区里已经有人贴出"笔记本级微调(如 RTX 3060 Laptop 可训 0.6B LoRA)"的实践路径,本文将这条路径拆开:显存账怎么算、数据怎么造、训练命令怎么写、结果差多少,以及哪些坑是文档不会告诉你的。
为什么是 0.6B:先算清移动 GPU 的显存账
Kev 家族覆盖 0.6B 到 27B 五档,官方建议"4GB 显存起步"的是 0.8B。而本选题的主角 0.6B 是上一代(Qwen3)阵营里最小的模型,模型卡里明确写着它的定位:
它是 Kev 家族的小成员……在冻结且带校验和的评估协议下最好的 0.6B checkpoint。(docs/model-cards/kev-0.6b-qwen3.md)
Kev-0.6B 的构成是 Qwen/Qwen3-0.6B-Base 加一个 LoRA 适配器(r=16,α=32)加一个指针头。这里的关键词是适配器:基座权重在微调全程冻结,可训练参数只有 LoRA 分支和从头训练的指针头。0.6B 基座权重以 fp32 常驻约 2.4GB,LoRA 与优化器状态再加约 0.5GB,6GB 的 3060 Laptop 显存账面上绰绰有余。
但显存不是唯一的约束,训练器(kev/train.py)的参数揭示了真正的成本结构:
--batch 1 --accum 8:README 明确写过,bf16 下这套组合可以让 0.8B 模型在 4GB GPU 上训练(见 README.md 的 Fine-Tune 一节)。0.6B 只会更宽裕。--dtype bf16:autocast 前向 + fp32 主权重。注意校验规则:--dtype bf16强制--device cuda(kev/train.py 的parse_args),所以 Apple Silicon 玩家走 MPS 只能 fp32,这正是 3060 笔记本对 M 系 Mac 的优势。--lora 16:秩的默认值。秩从 8 到 32 都试过,官方结论是更小的秩帮助有限(Kev-4B 的教训写在其模型卡里:"fewer LoRA target modules and smaller ranks help less")。笔记本场景直接沿用 r=16 即可,省下来的显存留给更大的--accum。
梯度累积把"单卡能塞下的 batch=1"放大成有效 batch 8,这是笔记本训练能收敛的前提——代价是更长的训练时间,而不是显存。预算账的另一半是:官方完整配方(README.md 的 Training 一节)在两轮 epoch 里跑 12,576 条记录,H100 约 12 分钟;3060 笔记本大约慢一个数量级,但 LoRA 冻结基座意味着显存曲线平坦,不存在"训到一半爆显存"的悬崖。
数据准备:把 API 请求形状变成训练样本
Kev 的微调数据格式和它的 API 是同一个形状,这是整个设计里最省心的一点。参照 skills/kev-finetune/references/data-format.md 和 kev/data.py 的 load_records,每条训练样本是一个 JSON 对象,state 加若干带 label 的 questions:
{"state": "Order 5521 arrived two weeks late and now I see two charges on my card. Fix this today.",
"questions": {
"department": {"type": "choice", "instructions": "Which team should handle this ticket first?",
"criteria": {"returns": "Exchanges, refunds, wrong or damaged items",
"shipping": "Delivery status, delays, lost packages",
"billing": "Charges, invoices, payment problems"},
"label": "billing"},
"escalate": {"type": "noul", "instructions": "Does this need urgent attention from a human within the hour?",
"label": true},
"frustration": {"type": "score", "instructions": "How frustrated is the customer?",
"criteria": ["Calm or neutral", "Annoyed", "Angry or threatening to leave"],
"label": 2}}}
三条铁律从文档和代码里都能读出来:
- 问题措辞与生产环境逐字一致。微调把
instructions和criteria这些字符串绑定到行为上,换说法在服务时会打折扣(skills/kev-finetune/references/data-format.md)。 - 规模先于质量。参考数据量表:300–600 条是第一次认真跑的门槛,1000–3000 条才够生产(
--epochs 2);400 条以内的增益落在噪声区间——这是官方在示例 workload 上实测的结论(skills/kev-finetune/README.md)。如果数据是自己造的,用split_data.py按 70/15/15 切出标定集和开发集。 - 不要用 Jev 的输出做训练。官方所有模型和配方都刻意避开了这一点,保持可验证性。
另一个可以白嫖的免费增广:训练器自带的 augment(kev/data.py)会做选项重排、插入"以上都不是"、加干扰项,还有 25% 概率生成 none 最小对——这些在官方 0.6B 的训练里被证明能把"无正确选项时硬猜"从 0.25 拉到 0.80(docs/model-cards/kev-0.6b-qwen3.md)。
训练:两条路线与完整命令
仓库给出了两条互斥的数据入口:--suite(官方冻结评估套件)或 --data(自己的 JSONL)。笔记本实战走 --data,并强烈建议配合 --init_from:
uv run python -m kev.train --data train.jsonl --base Qwen/Qwen3-0.6B-Base --init_from jaredpalmer/kev-0.6b \
--epochs 2 --lr 2e-5 --batch 1 --accum 8 --dtype bf16 --checkpointing 1 --device cuda --out runs/mine
--init_from jaredpalmer/kev-0.6b:从已发布 checkpoint 热启动 LoRA 和指针头,保留 0.6B 已有的领域能力再叠加你的领域。官方实测的数字很有说服力:同样 836 条支持工单决策数据,从基座从头训在自己评估集上只得 0.33,而从发布版热启动保持 0.83 并能在新领域到 0.88(README.md)。从零训练相当于把已学能力全扔掉。--lr 2e-5:delta 微调用小学习率,这是官方在 4B 上"单点最大的配方改进"的延伸——把默认 2e-4 降到 5e-5 挽回大部分基座能力损耗(docs/model-cards/kev-4b-qwen3.md)。--checkpointing 1:梯度检查点,3060 上显存保险丝。- 训练器会在加载前校验 base、revision、LoRA 秩和 head 尺寸是否与 checkpoint 一致(kev/train.py),
--base_revision不匹配会直接报错,这避免了许多框架里"配错了还在跑"的暗坑。
训练完先别急着部署,用 benchmark 看增益是否真实:
uv run python -m kev.benchmark --run runs/mine --data heldout.jsonl --out runs/mine-eval
benchmark 会按问题类型分别报告 accuracy、Brier 分和校准误差(kev/benchmark.py),Brier 是整条概率分布的评分,比只看 top-1 更诚实。最后把温度适配到自己的数据上:python -m kev.calibrate(kev/calibrate.py)会在同一批行上对比 raw / shipped / workload 四臂,并给出 out-of-fold 估计——"置信度在你自己的标签上测量"这件事,只有自训模型做得到。
结果对比:笔记本训的 Kev 与预训练版差多少
数字先说死,再用架构解释。
官方 Kev-0.6B 在冻结评估协议下的成绩(docs/model-cards/kev-0.6b-qwen3.md):
| 指标 | 官方 0.6B(decision-v4 开发集) |
|---|---|
| 域内准确率 | 0.801 |
| 域外准确率(transfer-v4 开发集) | 0.620 |
| 域外 Brier | 0.536 |
| 锁定测试集域内/域外 | 0.808 / 0.642 |
对照同代更大模型:Kev-4B 域内 0.854、域外 0.790;Jev 域内 0.845、域外 0.857。这个落差不是数据问题而是容量问题——官方在 0.6B 上做了八种单旋钮变异加三种子,域外准确率全都平在 ~0.60,"capacity, not data, is the bottleneck at this size"(docs/model-cards/kev-0.6b-qwen3.md)。
这直接决定了笔记本微调的预期管理:
- 域内增益是真实可得的。示例 workload 上,Kev-4B 微调把准确率从 67.7% 提到 73.6%,Brier 0.402→0.330,5% 错误预算下可自动化决策从 34% 到 48%(skills/kev-finetune/README.md)。0.6B 走同样的
--init_from路径,在自己的路由、审核、分诊标签上拿到若干点增益是合理预期——这也是社区教程里"笔记本级微调"被反复提及的场景:工单分诊、内容审核、意图分类这类结构化决策,而非开放式问答。 - 域外是 0.6B 的天花板。微调是"分布内"增益:它让你学会自己的任务,不会让 0.6B 在没见过的源上超过 0.6 上下。官方明确警告"held-out policy reasoning fails"(未见过的规则结构,双兄弟同时正确仅 6–11%),以及出域置信度只能当参考(自信错误率 11%)。如果你的场景外推成分很大,笔记本的正确姿势是拿 0.6B 做闭环验证,然后上 Modal 用同一条配方花约 $1 训 Kev-4B——LoRA 配方在两个档位间完全迁移。
- 置信度反而是自训模型的加分项。预训练版出厂带一个温度 T=2.35(docs/model-cards/kev-0.6b-qwen3.md),但它拟合的是官方开发集。微调流程会重新适配温度到你的标签上——模型卡自述"概率在域内可用,域外仅供参考",而"域内"只有在你自己的数据上才能定义。
kev-family.png 展示了 Kev 家族与 Jev 在跨 14 个出域源上的准确率分布,0.6B 所在的"上一代 Qwen3"阵营在图左底部:它不是为了追 Jev 的域外上限存在的,而是把"训练一个自己领域的决策模型"的门槛从数据中心 GPU 降到任何一台 6GB 显存的笔记本。
结论:这条路的真实边界
把这次实战的结论压缩成三句话:显存不是门槛(r=16 + batch 1 + accum 8 + bf16 + checkpointing 在 6GB 上绰绰有余),数据才是(300–600 条起步,1000–3000 条生产,措辞与生产逐字一致);能力上限是硬约束(0.6B 域外 ~0.6,微调只买域内增益,别指望外推);--init_from 是笔记本训练唯一的理性选择(从零训 0.33 对热启动 0.83 是同一个数据集的两种结局)。
RTX 3060 Laptop 能训的不只是"能跑的 demo"——配合基准测试和温度重适配,它训出的是一个在你自己标签上被量化过的决策模型。至于更重的场景,同一条命令换个 --base 和 --init_from 就能在云上无缝放大,这正是 Kev 把 LoRA 配方做成"从 0.6B 到 27B 一套到底"的用意所在。