如何训练自己的决策模型:Qwen3.5-0.8B-decision 开发者完全指南(optiq lora train --decision)

原创2026-10-19 22:08:391,936 阅读
文章标签:人工智能大模型微调

如何训练自己的决策模型:Qwen3.5-0.8B-decision 开发者完全指南(optiq lora train --decision)

Qwen3.5-0.8B-decision 是一个基于 Qwen3.5-0.8B 底座构建的决策模型(decision model):通过 optiq lora train --decision 一条命令,在骨干上挂载 LoRA 适配器,并额外训练一个联合 schema 头(joint head),让模型在一次前向推理中直接对 noul、choice、score 三类问题打分,而不是输出自由文本。整个模型仅 1.9 GB,跑在 Apple Silicon 的 MLX 推理引擎上。本文将从结构、训练、评测到部署,带你完整走一遍流程。

决策模型是什么?和普通微调有什么区别 🧭

普通指令模型回答任务时输出的是自然语言,你需要自己从文本里"抠"答案。决策模型(decision model)的思路不同:把输出约束为类型化的决策结果——例如 noul(是否执行)、choice(选项)、score(打分)——并训练一个专门的打分头直接给出数值。

这套方案有三个直接好处:

  • 结构化输出:结果可直接被程序消费,无需解析文本
  • 一次推理完成:联合 schema 头在同一次推理中为 5 个问题打分,p50 延迟仅 0.34 秒(Apple M3 Max 实测)
  • 小模型也能打:0.8B 参数 + 1.9 GB 体积,消费级 Mac 即可部署

模型仓库解剖:每个文件是干什么的 🔍

这份仓库本身就是一份"训练完成品",逐一看文件就能理解 optiq lora train --decision 的产出结构:

文件 作用
model.safetensors-00001-of-00001.safetensors bf16 精度的 Qwen3.5-0.8B 骨干权重
model.safetensors.index.json 骨干权重的分片索引
adapters.safetensors LoRA 适配器权重(决策能力主要载体)
adapter_config.json LoRA 超参数:rank 16、scale 1.0,作用于注意力 q/k/v/o 投影、MLP 及 linear-attention 投影
joint_head.safetensors 联合 schema 头(joint head)权重
joint_head_config.json 头的结构:hidden 1024、4 层、8 头、feedforward 2048、2 个 routing 层
decision_config.json 决策温度(temperature),3 个值对应 noul / choice / score 三类问题
chat_template.jinja、tokenizer.json 提示词模板与分词器配置

关键理解:决策能力 = LoRA 适配器 + joint head,骨干本身保持原样。这意味着同一套底座可以低成本地训练出多个决策变体。

训练与评测:指标怎么读才不被坑 📊

该模型只用基准自带的 train split(1,080 条记录)训练,测试集 400 个 case、共 2,000 条决策,与训练集不相交。四项核心指标如下:

模型 Accuracy KL from gold ↓ Brier ↓ ECE ↓ p50 延迟
Qwen3.5-0.8B-decision 0.772 0.097 0.054 0.177 0.34 s
gemma-4-e2b-it(4bit) 0.802 0.072 0.039 0.181 0.99 s
clef-OptiQ-4bit(27B) 0.719 0.189 0.102 0.118 9.7 s
永远回答训练集均值 0.489 0.327 0.181 – –

几个要点:

  • 对照线是 0.489:任何决策模型的准确率都应显著高于"复读训练集均值",否则等于没训练
  • KL 与 Brier 衡量分布质量:越接近 gold 标准答案越好(↓ 表示越小越好)
  • ECE 衡量校准:本模型的 top-label 校准不如 27B 的 Clef(0.177 vs 0.118),必要时可用温度校准补偿
  • 小模型胜在延迟:0.34 s 对 9.7 s,是"0.8B 打平 27B 准确率附近"的实际价值

一个真实翻车案例(必读 ⚠️)

该模型卡片最初报告准确率仅 0.512。排查后发现是 bug:适配器保存的张量命名 mlx-lm 无法识别,导致加载时 LoRA 权重根本没生效——跑的是裸骨干。修复后指标才回到 0.772。

教训:训练完成后,务必验证适配器真的加载成功了,而不是只看训练 loss。

训练自己的决策模型:optiq lora train --decision 实战清单 🛠️

  1. 准备数据:至少划分出 train / test 两个不相交的 split,覆盖你要决策的几类工作流(本模型用了 4 类、1,080 条)
  2. 启动训练:执行 optiq lora train --decision,LoRA rank 16 是一个可用的起点,完整参考配置见 adapter_config.json
  3. 验证加载:确认 adapters.safetensors 的张量命名能被 mlx-lm 正确放置(对照上文翻车案例)
  4. 独立评测:在 disjoint 测试集上同时看 Accuracy、KL、Brier、ECE 四项指标,别只看一个
  5. 校准:如 ECE 偏高,调整温度参数,参考产物形态见 decision_config.json
  6. 部署:进入下一步
optiq lora train --decision

部署与推理:optiq serve 一键起服务 🚀

训练完成后,用 OptiQ 服务化即可对外提供决策接口:

pip install -U mlx-optiq
optiq serve --model mlx-community/Qwen3.5-0.8B-decision

optiq serve 会暴露 /v1/systemone 端点,一次请求可携带 5 个问题由联合头统一打分。1.9 GB 的磁盘体积意味着任何一台近年的 Apple Silicon 机器都能直接承接。

常见问题:为什么我的决策模型"不如预期" ❓

  • 加载后指标接近裸模型:大概率是适配器张量命名问题(0.512 vs 0.772 事故),先查加载日志
  • 准确率高但 ECE 高:概率校准不足,引入温度校准后再评测
  • 换一批决策类型后掉点明显:本模型的训练与测试来自同样的 4 类工作流,跨类型决策本来就该预期下降,属于正常现象
  • 一味堆参数:0.8B 的核心卖点是延迟,若为了零点几个点把 p50 从 0.34 s 拖到 9.7 s,通常得不偿失

小结

用 optiq lora train --decision 训练决策模型的路径非常清晰:LoRA 适配器负责"学会你的决策",joint head 负责"结构化地输出",MLX + OptiQ 负责"低成本地跑起来"。对照本仓库的 adapter_config.json、joint_head_config.json 与 decision_config.json 逐项检查产物,再记住"训练后必须验证适配器真正生效"这一条,你的第一个决策模型就能又快又稳地落地。

登录后查看全文
Qwen3.5-0.8B-decision