深入解析 Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K 的 AWQ 量化策略:UINT4 权重如何让 1.5B 模型又小又快

原创2026-10-22 13:25:171,402 阅读

深入解析 Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K 的 AWQ 量化策略:UINT4 权重如何让 1.5B 模型又小又快

Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K 是 AMD 基于 Quark 量化工具链对 Qwen2.5-Coder-1.5B-Instruct 代码模型进行 AWQ 量化后的 NPU 部署版本:权重压缩为 UINT4、支持 4K 上下文,专为 AMD Ryzen AI NPU 优化。本文将带你读懂它的量化配置、参数含义与文件结构,帮助你理解"小模型如何又小又快"。

为什么需要量化:从 3GB 到 600MB 的瘦身

1.5B 参数的模型若以 BF16(16 位)精度存储,权重约需 3GB 内存。而本仓库中的实际权重文件 model.onnx.data 只有约 600MB(600,027,392 字节,由 Git LFS 存储),体积缩小到原来的 20% 左右。

这对 NPU 场景尤其关键:

  • 🧠 NPU 片上/近存带宽有限,权重越小,搬运越快
  • ⚡ 更小的模型意味着更低的内存占用,可在消费级 APU 上流畅运行
  • 📦 下载和分发成本大幅下降

核心配置:quantization_config 全景解读

所有量化策略都写在 config.json 的 quantization_config 字段中,关键参数一览:

参数 值 含义
name awq 采用 AWQ(Activation-aware Weight Quantization)算法
weight.dtype uint4 权重以 4 位无符号整数存储
group_size 128 每 128 个权重共享一组量化参数
qscheme per_group 分组(per-group)量化方案
symmetric false 非对称量化,带零点对齐
round_method half_even 银行家舍入,减少系统性偏差
observer_cls PerGroupMinMaxObserver 按组统计 min/max 确定量化范围
scale_type float scale 因子以浮点存储,保证反量化精度
quant_method quark 使用 Quark 量化工具链完成

README 中用一行概括了这套方案:

AWQ / Group 128 / Asymmetric / BFP16 activations / UINT4 Weights

见 README.md。注意激活值保持 BF16/BFP16 精度,只有权重被压缩——这是精度损失最小的折中方式。

AWQ:用激活值"保护"重要权重

AWQ 的巧妙之处在于:不是无脑地把所有权重压到 4 位,而是先观察激活值(activation)的分布,识别出对输出影响大的"敏感权重通道",对它们施加保护性的缩放(scaling),使量化后的输出误差最小。

在 config.json 的 algo_config.scaling_layers 中,可以清楚看到 AWQ 为 28 层 Transformer 的每个子模块定义了缩放组:

输入来源(prev_op) 被保护/量化的层 对应模块
input_layernorm q_proj / k_proj / v_proj 自注意力投影
v_proj o_proj 注意力输出投影
post_attention_layernorm gate_proj / up_proj MLP 前馈网络
up_proj down_proj MLP 降维

这正是标准的 Qwen2 结构映射:每一层的注意力与 MLP 都有对应的 AWQ 缩放路径。

非对称 Group-128 量化在做什么

  • Group 128:每个权重张量的通道轴(ch_axis: -1)按 128 个元素切组,每组独立计算 scale 和零点。相比整张量共享一组参数,分组能显著贴合权重分布的局部差异
  • 非对称(Asymmetric):权重分布通常不对称(如 ReLU 后恒正),非对称量化用零点(zero-point)对齐分布起点,比对称量化更省精度
  • half_even 舍入:即"银行家舍入",避免四舍五入在 0.5 边界上的系统性偏差,让量化误差在统计上更均匀

模型结构与 NPU 部署细节

结合 genai_config.json,这个模型的推理配置同样值得新手了解:

  • GQA 注意力:num_attention_heads: 12,而 num_key_value_heads: 2(见 config.json)。分组查询注意力让 KV Cache 大幅缩小,长上下文更省内存
  • RoPE:rope_theta: 1,000,000,原生支持 32,768 上下文
  • NPU 加速:hybrid_opt_token_backend: "npu" 表示逐 Token 解码阶段交由 Ryzen AI NPU 执行,Prefill 与 Decode 采用混合调度
  • 默认采样:temperature: 0.7、top_k: 20、top_p: 0.8、max_length: 4096,开箱即可用于代码补全与问答

4K 上下文是如何实现的?

目录中大量 dd_metastate_* 文件揭示了 4K 的支持方式:

  • Prefill 阶段为 128、256、512、…、4096 等填充后的序列长度预编译了独立的内核(sequence_length_padded_*)
  • Token(逐词生成)阶段为 256~4096 的 attention mask 预置了元数据(attention_mask_padded_*)

运行时的实际长度上限由 rai_config.json 按 ryzenai 版本控制:1.6.0 及以上版本支持 max_prompt_length: 4096,这正是模型名中 "4K" 的由来。

仓库文件结构速览

文件 作用
config.json 模型结构 + AWQ 量化配置
genai_config.json ONNX Runtime GenAI 推理与会话配置
rai_config.json 各 ryzenai 版本的最大提示长度
chat_template.jinja 对话模板(含工具调用格式)
model.onnx 计算图(约 34MB)
model.onnx.data UINT4 量化权重(约 600MB)
tokenizer.json / vocab.json / merges.txt 分词器文件
dd_metastate_* NPU 各长度段的预编译内核

如何快速开始

由于权重由 Git LFS 管理,克隆仓库时需要完整拉取:

git lfs install
git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K

然后安装 AMD ryzenai 1.8.0 运行时(要求支持 NPU 的 Ryzen AI APU),使用 ONNX Runtime GenAI 加载 model.onnx 并指定 RyzenAI provider 即可运行推理。模型以 tie_word_embeddings: true 共享嵌入权重,进一步节省了词表 151,936 带来的体积。

总结

这套方案是"小模型上 NPU"的典型范本:

  1. AWQ 激活感知缩放定位敏感权重,把 4 位量化的精度损失压到最低
  2. UINT4 + Group 128 非对称量化让 1.5B 模型权重从约 3GB 降到约 600MB
  3. 激活保持 BF16,兼顾精度与硬件友好性
  4. Prefill/Decode 分离 + 多长度预编译内核,实现 4K 上下文的高效 NPU 推理

如果你想在消费级硬件上部署代码助手模型,这套"量化 + NPU 融合"的配置思路非常值得参考。

登录后查看全文
Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_npu_4K