解码Quark量化:Phi-4-mini-instruct_rai_1.8.0_npu_4K如何用UINT4权重+AWQ Group 128实现4-bit极致压缩
解码Quark量化:Phi-4-mini-instruct_rai_1.8.0_npu_4K如何用UINT4权重+AWQ Group 128实现4-bit极致压缩
Phi-4-mini-instruct_rai_1.8.0_npu_4K 是 AMD 面向 Ryzen AI(NPU)优化的 4-bit 量化模型包:它使用 Quark量化 框架,以 UINT4 权重 + AWQ Group 128 策略,把微软 Phi-4-mini-instruct(约 3.8B 参数)的权重大幅压缩,并通过 ONNX 导出实现 NPU 端"Full Fusion 4K 上下文"部署。本文将从配置入手,带你拆解这套 4-bit 极致压缩背后的每个关键参数。🎯
一、先认识主角:被压缩的是什么模型?
在聊量化之前,先看看 config.json 里的"底子"——这是典型的 Phi-3 架构家族(Phi3ForCausalLM):
| 参数 | 值 | 含义 |
|---|---|---|
hidden_size |
3072 | 隐藏层维度 |
num_hidden_layers |
32 | 解码层数 |
num_attention_heads / num_key_value_heads |
24 / 8 | GQA 分组查询注意力 |
max_position_embeddings |
131072 | 理论最大上下文(LongRoPE 扩展) |
vocab_size |
200064 | 词表大小 |
dtype |
bfloat16 | 量化前的原始精度 |
BF16 下每个参数占 2 字节,3.8B 参数约需 7.6 GB;换成 4-bit 后,单个权重仅占 0.5 字节,理论上体积直接缩到约 1/4,这正是"极致压缩"的核心价值。
二、Quark量化:一条完整的"量化流水线"
Quark 是 AMD 开源的量化加速库,这个项目在 config.json 的 quantization_config 中完整记录了流水线配置,三个字段值得重点关注:
"quant_method": "quark":声明量化方案归属 Quark 框架;"quant_mode": "eager_mode":以静态(非动态)模式在导出前完成量化;"version": "0.12rc4":记录所用 Quark 版本,方便复现。
README 中也点明了整体工艺路线:
This model was created using Quark Quantization, followed by OGA Model Builder, and finalized with post-processing for NPU deployment (Full Fusion 4K context). 来源:README.md
也就是说:先用 Quark 做 4-bit 量化,再用 OGA Model Builder 构建 ONNX 图,最后针对 NPU 做融合后处理。
三、4-bit 极致压缩的核心:UINT4 权重 + Group 128
真正的"压缩配方"藏在 config.json 的 global_quant_config.weight 中:
| 配置项 | 值 | 解读 |
|---|---|---|
dtype |
uint4 | 权重用 4 位无符号整数存储 |
group_size |
128 | 每 128 个权重共享一组缩放参数 |
qscheme |
per_group | 按组独立量化,精度远高于整层量化 |
symmetric |
false | 非对称量化,更贴合真实权重分布 |
observer_cls |
PerGroupMinMaxObserver | 每组独立统计最大/最小值 |
round_method |
half_even | "四舍六入五成双",减少系统性舍入偏差 |
scale_type |
float | 缩放因子以浮点保存 |
📌 通俗理解 Group 128:把一行权重切成若干长度为 128 的"小组",每组单独计算自己的缩放比例(scale)与偏移量(zero-point)。组越小精度越高、但元数据开销越大;组越大开销越小、但精度损失越多。128 是业界公认的精度与开销平衡点(LLaMA-2 70B 4-bit 验证中最优组距之一)。
四、AWQ:为什么"重要权重"要多给一点精度?
量化最大的敌人是"离群值"——少数数值特别大的权重会让整组缩放参数失真。AWQ(Activation-aware Weight Quantization,激活感知权重量化)的思路是:根据输入激活统计出每个通道的"重要度",对重要通道施加更小的缩放,从而保住关键权重。
在这份配置中,AWQ 通过 config.json 的 algo_config 体现:
"name": "gptq":使用 GPTQ 类量化算法作为底层求解器;"desc_act": true:启用基于激活重要度的通道感知(即 AWQ 行为的关键开关);"block_size": 128与"static_groups": true:按 128 分组、静态分组,与全局group_size对齐;"inside_layer_modules":明确对self_attn.qkv_proj、self_attn.o_proj、mlp.gate_up_proj、mlp.down_proj这四类线性层做量化——正好覆盖注意力与 FFN 的全部主力权重;"damp_percent": 0.01:GPTQ Hessian 阻尼项,保证数值稳定。
配合 README 中一句精炼的官方摘要(README.md):
AWQ / Group 128 / Asymmetric / BFP16 activations / UINT4 Weights
即:权重 4-bit 无符号量化,激活保持 BF16 高精度——"压缩的压缩、计算的全精度",这是端侧 NPU 上保持输出质量的关键设计。
五、NPU 部署侧:从量化权重到 ONNX 模型
压缩完只是第一步,能不能跑起来取决于导出与硬件调度:
- 导出配置(config.json):
"pack_method": "reorder"表示权重按重排打包方式存储,便于 NPU 按字节对齐读取;"weight_format": "real_quantized"表示保存的是真实量化后的权重,而非运行时动态模拟。 - ONNX 推理入口(genai_config.json):模型体为 model.onnx,外部权重数据在 model.onnx.data;
decoder.session_options.provider_options中指定"hybrid_opt_token_backend": "npu",把 token 生成调度到 Ryzen AI 的 NPU;同时声明了context_length: 131072与 KV Cache 的输入输出命名(past_key_values.%d.key等)。 - 4K 上下文适配:目录名中的 "npu_4K" 对应 NPU 端的 Full Fusion 4K 上下文版本;rai_config.json 还按 Ryzen AI 软件版本(1.3.1 ~ 1.7.1)分别给出了
max_prompt_length(2048 或 4096)的上限,方便不同驱动版本自动匹配。 - 推理图元:ONNX 元数据中可见针对不同长度的 padding 图(如
sequence_length_padded_4096、attention_mask_padded_4096等dd_metastate_*文件),说明模型已按多种序列长度预编译了执行分支,推理时无需动态建图。
六、仓库文件速查:量化模型包含哪些"零件"?
🧩 快速对照一下各文件的分工(均为相对路径):
- config.json:模型结构 + Quark 量化配置(本文核心)
- genai_config.json:ONNX Runtime GenAI 推理配置(NPU 后端)
- rai_config.json:Ryzen AI 各版本最大提示长度
- model.onnx / model.onnx.data:量化后的计算图与权重数据
- modeling_phi3.py:HuggingFace 风格参考实现,含 GQA 的
repeat_kv分组逻辑(modeling_phi3.py) - sample_finetune.py:基于 SFTTrainer + DeepSpeed ZeRO3 的微调示例
- chat_template.jinja、tokenizer.json、vocab.json:对话模板与分词器
- added_tokens.json、special_tokens_map.json:特殊词表
- generation_config.json:生成参数(
do_sample等) - LICENSE / NOTICE.md:MIT 协议与第三方声明
七、小结:这套方案值得记住的 4 个点
- UINT4 + 非对称量化:4 位无符号整数 +
half_even舍入,在极小位宽下把分布拟合做到最稳; - Group 128:每 128 权重一组 scale/zero-point,精度与存储开销的黄金平衡点;
- AWQ(
desc_act: true):激活感知保护关键通道,避免离群值拖垮整组精度; - 全链路面向 NPU:Quark 量化 → OGA 构建 → ONNX 重排打包 → Ryzen AI NPU 后端,配合 4K 上下文 Full Fusion,让 3.8B 模型能在笔记本 NPU 上以低显存、长上下文本地运行。💡
如果你想进一步动手,可以从 genai_config.json 入手理解 ONNX GenAI 的输入/输出协议,或参考 sample_finetune.py 在 BF16 原模型上完成微调,再走一遍同样的量化-导出流程。