gemma-4-12b-constraintkit量化代价实测:Q6_K GGUF比bf16到底损失了什么(92% vs 93%)
gemma-4-12b-constraintkit量化代价实测:Q6_K GGUF比bf16到底损失了什么(92% vs 93%)
gemma-4-12b-constraintkit 是一个基于 Gemma 4 12B 微调的开源 text-to-CAD(文本生成 CAD)模型:把一句英文描述变成精确的 CAD 装配程序,还会"诚实拒绝"它不会建的零件。本文用官方实测数据,拆解它的 Q6_K GGUF 量化版相比 bf16 全精度到底损失了什么——几何验证通过率 92% vs 93%,那丢失的 1 个点出在哪?拒绝能力又掉了多少?
先搞懂:这个模型为什么"损失可测量"
大多数文本生成模型的量化评测靠人工打分或困惑度,而 gemma-4-12b-constraintkit 的输出是一个结构化 DSL 程序({"parts": [...], "mates": [...]}),会被 constraint-kit 编译器编译成真实的 B-rep 实体并做几何校验:
- 只有零件体积和包围盒落在目标的 ±2% 以内才算"构建成功"
- 超出词表的请求,模型应输出
{"unsupported": "..."}而不是硬凑一个近似件
也就是说,"能建"和"敢拒"两个维度都可以用同一批 held-out 探针精确打分——量化代价因此是一笔算得清的账。
核心数据:92% vs 93%,差的那 1 个点在哪
官方用同一批 90 条探针对比了 SFT 阶段的 bf16 全精度权重与 Q6_K GGUF 量化版:
| 指标 | bf16(SFT) | Q6_K GGUF(SFT) | 变化 |
|---|---|---|---|
| 几何验证构建 | 56/60(93%) | 55/60(92%) | -1 |
| 诚实拒绝(拒答率) | 26/30(87%) | 25/30(83%) | -4 |
结论很清晰:
- 🏗️ "能建"几乎无损:构建能力只掉了 1 个点,且 0 格式失败、0 编译错误
- 🚫 "敢拒"才是量化重灾区:拒绝率从 87% 掉到 83%,约每 20 个超范围请求会多出 1 个被"近似硬建"出来的件
为什么拒绝更脆弱?因为"建"是走结构化 JSON + 几何校验的硬路径,容错高;而"拒"依赖对词表边界的精确判断(比如"螺旋伞齿轮"不在词表里,只能输出 unsupported),低精度权重会让这类细微判断更容易越线。
再叠加 GRPO 之后:最终 Q6_K 权重的表现
仓库里发布的 gemma4-12b-constraintkit-grpo-Q6_K.gguf(9.8 GB)是 SFT + GRPO 的最终版。GRPO 阶段把 constraint-kit 的 DSL 校验器直接当奖励函数(没有奖励模型、没有 LLM judge),在 16 探针 A/B 下:
- 构建能力守住 6/6,无回退
- 正确拒绝从 8/10 提升到 9/10
- "静默建错变体"(把 A 请求建成近似 B)减半:2/10 → 1/10
也就是说,量化丢掉的拒绝能力,被 GRPO 的几何奖励又拉回了一部分。
本地部署:文件清单与最快启动方式
| 文件 | 说明 |
|---|---|
| gemma4-12b-constraintkit-grpo-Q6_K.gguf | 最终模型(SFT+GRPO),Q6_K 量化,9.8 GB,llama.cpp 直接加载 |
| lora/ | 同款模型以 LoRA 适配器形式提供(r=16、alpha=16),基于 unsloth/gemma-4-12b-it,仅 251 MB |
| train_sys.txt | 训练使用的原始系统提示词,必须原样使用——模型没在其他提示词上训练过 |
用 llama.cpp 起服务(Volta 架构如 V100 需额外加 -fa off -ub 1024):
llama-server -m gemma4-12b-constraintkit-grpo-Q6_K.gguf -c 8192 -ngl 99 --port 8086
调用上有两个新手容易踩的坑:
- 走原始
/completion接口,系统轮必须以<|think|>模式 token 开头,遇<turn|>停止生成 - 推理轨迹在
<channel|>之后,取输出时截掉前缀只保留 JSON 程序,采样建议temperature=0.2
实战建议:选 Q6_K GGUF 还是 bf16 LoRA?
- 💻 只用 llama.cpp 跑本地:直接选 Q6_K GGUF。代价是构建 -1 点、拒绝 -4 点,整体仍处于提示词驱动的前沿模型区间(90–97%)之内
- 🚀 显存够(约 24 GB+)、追求最高精度:加载 lora/ 的 251 MB 适配器 + bf16 底座,即 SFT 阶段 93%/87% 的全精度形态
- ⚠️ 无论哪种形态:输出都要先经 constraint-kit 校验端点(
POST /dsl/verify)检查,再送POST /build生成 STEP/GLB,不要直接信任几何
总结
Q6_K GGUF 相对 bf16 的量化代价可以一句话概括:构建能力近乎无损(93%→92%),诚实拒绝掉 4 个点(87%→83%)。对一个"会说不能"的 text-to-CAD 模型来说,这 4 个点的含义是——量化版在约 1/20 的超范围请求上可能不再拒绝、而是硬建一个近似件。如果你的业务对"拒绝"敏感,优先用 LoRA + bf16,或在调用链上保留几何校验器做兜底。
已知局限:模型只认识系统提示词里的零件词表(spacer、spur_gear、plate、shaft、washer、nut、bolt、panel、link、housing、sheet_bracket 及少量库件),其余均应走拒绝路径;且拒绝仍是它的最弱项。更多背景见 README.md。