深入解析 Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K 的 AWQ 量化策略:UINT4 权重如何让 1.5B 模型又小又快
深入解析 Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K 的 AWQ 量化策略:UINT4 权重如何让 1.5B 模型又小又快
Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K 是 AMD 基于 Quark 量化工具链对 Qwen2.5-Coder-1.5B-Instruct 代码模型进行 AWQ 量化后的 NPU 部署版本:权重压缩为 UINT4、支持 4K 上下文,专为 AMD Ryzen AI NPU 优化。本文将带你读懂它的量化配置、参数含义与文件结构,帮助你理解"小模型如何又小又快"。
为什么需要量化:从 3GB 到 600MB 的瘦身
1.5B 参数的模型若以 BF16(16 位)精度存储,权重约需 3GB 内存。而本仓库中的实际权重文件 model.onnx.data 只有约 600MB(600,027,392 字节,由 Git LFS 存储),体积缩小到原来的 20% 左右。
这对 NPU 场景尤其关键:
- 🧠 NPU 片上/近存带宽有限,权重越小,搬运越快
- ⚡ 更小的模型意味着更低的内存占用,可在消费级 APU 上流畅运行
- 📦 下载和分发成本大幅下降
核心配置:quantization_config 全景解读
所有量化策略都写在 config.json 的 quantization_config 字段中,关键参数一览:
| 参数 | 值 | 含义 |
|---|---|---|
name |
awq |
采用 AWQ(Activation-aware Weight Quantization)算法 |
weight.dtype |
uint4 |
权重以 4 位无符号整数存储 |
group_size |
128 |
每 128 个权重共享一组量化参数 |
qscheme |
per_group |
分组(per-group)量化方案 |
symmetric |
false |
非对称量化,带零点对齐 |
round_method |
half_even |
银行家舍入,减少系统性偏差 |
observer_cls |
PerGroupMinMaxObserver |
按组统计 min/max 确定量化范围 |
scale_type |
float |
scale 因子以浮点存储,保证反量化精度 |
quant_method |
quark |
使用 Quark 量化工具链完成 |
README 中用一行概括了这套方案:
AWQ / Group 128 / Asymmetric / BFP16 activations / UINT4 Weights
见 README.md。注意激活值保持 BF16/BFP16 精度,只有权重被压缩——这是精度损失最小的折中方式。
AWQ:用激活值"保护"重要权重
AWQ 的巧妙之处在于:不是无脑地把所有权重压到 4 位,而是先观察激活值(activation)的分布,识别出对输出影响大的"敏感权重通道",对它们施加保护性的缩放(scaling),使量化后的输出误差最小。
在 config.json 的 algo_config.scaling_layers 中,可以清楚看到 AWQ 为 28 层 Transformer 的每个子模块定义了缩放组:
| 输入来源(prev_op) | 被保护/量化的层 | 对应模块 |
|---|---|---|
input_layernorm |
q_proj / k_proj / v_proj |
自注意力投影 |
v_proj |
o_proj |
注意力输出投影 |
post_attention_layernorm |
gate_proj / up_proj |
MLP 前馈网络 |
up_proj |
down_proj |
MLP 降维 |
这正是标准的 Qwen2 结构映射:每一层的注意力与 MLP 都有对应的 AWQ 缩放路径。
非对称 Group-128 量化在做什么
- Group 128:每个权重张量的通道轴(
ch_axis: -1)按 128 个元素切组,每组独立计算 scale 和零点。相比整张量共享一组参数,分组能显著贴合权重分布的局部差异 - 非对称(Asymmetric):权重分布通常不对称(如 ReLU 后恒正),非对称量化用零点(zero-point)对齐分布起点,比对称量化更省精度
- half_even 舍入:即"银行家舍入",避免四舍五入在 0.5 边界上的系统性偏差,让量化误差在统计上更均匀
模型结构与 NPU 部署细节
结合 genai_config.json,这个模型的推理配置同样值得新手了解:
- GQA 注意力:
num_attention_heads: 12,而num_key_value_heads: 2(见 config.json)。分组查询注意力让 KV Cache 大幅缩小,长上下文更省内存 - RoPE:
rope_theta: 1,000,000,原生支持 32,768 上下文 - NPU 加速:
hybrid_opt_token_backend: "npu"表示逐 Token 解码阶段交由 Ryzen AI NPU 执行,Prefill 与 Decode 采用混合调度 - 默认采样:
temperature: 0.7、top_k: 20、top_p: 0.8、max_length: 4096,开箱即可用于代码补全与问答
4K 上下文是如何实现的?
目录中大量 dd_metastate_* 文件揭示了 4K 的支持方式:
- Prefill 阶段为 128、256、512、…、4096 等填充后的序列长度预编译了独立的内核(
sequence_length_padded_*) - Token(逐词生成)阶段为 256~4096 的 attention mask 预置了元数据(
attention_mask_padded_*)
运行时的实际长度上限由 rai_config.json 按 ryzenai 版本控制:1.6.0 及以上版本支持 max_prompt_length: 4096,这正是模型名中 "4K" 的由来。
仓库文件结构速览
| 文件 | 作用 |
|---|---|
| config.json | 模型结构 + AWQ 量化配置 |
| genai_config.json | ONNX Runtime GenAI 推理与会话配置 |
| rai_config.json | 各 ryzenai 版本的最大提示长度 |
| chat_template.jinja | 对话模板(含工具调用格式) |
| model.onnx | 计算图(约 34MB) |
| model.onnx.data | UINT4 量化权重(约 600MB) |
tokenizer.json / vocab.json / merges.txt |
分词器文件 |
dd_metastate_* |
NPU 各长度段的预编译内核 |
如何快速开始
由于权重由 Git LFS 管理,克隆仓库时需要完整拉取:
git lfs install
git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K
然后安装 AMD ryzenai 1.8.0 运行时(要求支持 NPU 的 Ryzen AI APU),使用 ONNX Runtime GenAI 加载 model.onnx 并指定 RyzenAI provider 即可运行推理。模型以 tie_word_embeddings: true 共享嵌入权重,进一步节省了词表 151,936 带来的体积。
总结
这套方案是"小模型上 NPU"的典型范本:
- AWQ 激活感知缩放定位敏感权重,把 4 位量化的精度损失压到最低
- UINT4 + Group 128 非对称量化让 1.5B 模型权重从约 3GB 降到约 600MB
- 激活保持 BF16,兼顾精度与硬件友好性
- Prefill/Decode 分离 + 多长度预编译内核,实现 4K 上下文的高效 NPU 推理
如果你想在消费级硬件上部署代码助手模型,这套"量化 + NPU 融合"的配置思路非常值得参考。