从UINT4权重到BFP16激活:深度解析Qwen-2.5_1.5B_Instruct_rai_1.8.0_hybrid的AWQ Group128量化策略
从UINT4权重到BFP16激活:深度解析Qwen-2.5_1.5B_Instruct_rai_1.8.0_hybrid的AWQ Group128量化策略
📌 Qwen-2.5_1.5B_Instruct_rai_1.8.0_hybrid 是 AMD 官方为 Ryzen AI 处理器优化的本地大语言模型,核心亮点是采用 AWQ Group128 量化:UINT4 权重 + 非对称校准 + BFP16 激活。本文将带你读懂这套量化策略的每个参数——为什么是 4 位权重、为什么分组 128、为什么激活保留 16 位,以及配置文件中每个关键字段的真实含义。
一、项目速览:一个为 AI PC 而生的量化模型 🚀
这个模型以开源的 Qwen-2.5-1.5B-Instruct 为基座,通过 AMD 的 Quark Quantization 量化工具转换而成,目标是让 1.5B 参数的大模型在笔记本/轻薄本上的 NPU+CPU 组合中流畅推理(详见 README.md)。
模型本体是一个标准的 Qwen2 因果语言模型,关键架构参数可以从 config.json 中直接读到:
| 参数 | 数值 | 含义 |
|---|---|---|
num_hidden_layers |
28 | Transformer 层数 |
hidden_size |
1536 | 隐藏层维度 |
num_attention_heads |
12 | 注意力头数 |
num_key_value_heads |
2 | KV 头数(GQA 分组注意力,省显存提速) |
max_position_embeddings |
32768 | 支持 32K 长上下文 |
vocab_size |
151936 | 词表大小 |
💡 GQA(Grouped Query Attention):12 个注意力头共享 2 组 KV 缓存,推理时 KV Cache 占用更小——这是能在小设备上跑长上下文的关键设计之一。
二、量化策略全拆解:5 个核心配置项 🔍
README.md 用一行概括了量化策略:
AWQ / Group 128 / Asymmetric / BFP16 activations / UINT4 Weights
这五个词分别对应 config.json 中 quantization_config 的哪些字段?逐一对应如下:
| 配置项 | 取值 | 对应字段(config.json) |
|---|---|---|
| 量化算法 | AWQ | algo_config 中 name: "awq"(L50-L89) |
| 权重精度 | UINT4(4 位无符号整型) | weight.dtype: "uint4"(L107) |
| 分组大小 | Group 128(每 128 个参数共享一组缩放系数) | group_size: 128(L109) |
| 对称性 | 非对称(Asymmetric) | symmetric: false(L120) |
| 激活精度 | BFP16(bfloat16,与权重 4 位形成"混合精度") | 见下文第四节 |
此外还有几个工程细节值得注意:
- 量化工具链:
quant_method: "quark",版本0.12rc4(L127-L130) - 校准器:
PerGroupMinMaxObserver——逐组统计最大值/最小值来求缩放系数(L114) - 舍入方式:
half_even(四舍六入五成双,避免整体系数偏大或偏小)(L116) - 导出方式:
weight_format: "real_quantized"、pack_method: "reorder"——权重以真实量化后格式打包导出,供 ONNX Runtime 的 RyzenAI 执行器直接消费(L92-L98)
三、为什么选 UINT4 权重?📦
体积对比直观感受
| 文件 | 大小 | 说明 |
|---|---|---|
| model.bin | ≈ 1.68 GB | 高精度参考权重 |
| model.onnx.data | ≈ 475 MB | 量化后模型权重(ONNX 外部数据) |
| model.onnx | ≈ 411 KB | 量化后计算图 |
权重从 16 位压到 4 位,单参数存储量变为原来的 1/4。对一台只有 16GB 内存的轻薄本来说,这决定了模型"能不能塞进内存、推理时还要留出多少空间给 KV Cache"。
4 位量化不丢太多精度的秘诀:Group 128
如果整个模型只用一组缩放系数,不同层/不同通道的数值分布差异会造成严重的精度损失。Group 128 把每个矩阵按行切成 128 个一组,每组独立计算一组 scale/zero-point,在"精度"和"缩放系数开销"之间取得平衡:
- 组太大(如整层一组)→ 精度损失大
- 组太小(如逐元素)→ 缩放系数数量膨胀,又吃回存储空间
128 是业界 AWQ / GPTQ 等方案中被反复验证的黄金分组粒度,qscheme: "per_group"(L115)即声明了这一策略。
非对称量化:多一个零点参数,换来更好的精度
symmetric: false 意味着每组除了 scale 还有 zero-point。神经网络权重分布往往不以 0 为中心,非对称量化能完整覆盖权重的实际取值区间(min → max),把 0~15 这 16 个 4 位码值"用在刀刃上"。配合 PerGroupMinMaxObserver 的逐组 min/max 校准,精度损失进一步降低。
四、BFP16 激活:权重激进压缩,激活保守保真 ⚖️
AWQ 的精髓在于混合精度:
- 权重:UINT4,激进压缩(只影响静态存储)
- 激活(中间计算结果):BFP16(bfloat16),保守保真
为什么激活不能也跟着压到 4 位?因为激活值分布随输入动态变化,量化误差会在 28 层网络中逐层放大,最终表现为文本胡说八道。而 BFP16 与 FP32 拥有相同的指数位宽(动态范围一致),用 8 位指数换 7 位尾数,恰好契合神经网络激活的数值特性——这也是 config.json 中 dtype: "bfloat16" 的含义。
一句话总结这套策略:静态的权重往死里压(4bit),动态的激活稳字当头(16bit),最终在体积和生成质量之间取得平衡。
五、AWQ 缩放层配置:从哪来、保护谁 🛡️
AWQ(Activation-aware Weight Quantization)的核心思想是:根据输入激活的分布来感知哪些权重通道更重要,并施加缩放保护。这份感知的来源写在 config.json 的 scaling_layers 中——每一组 prev_op 指明"用哪个算子的输出分布做校准参考":
缩放参考源(prev_op) |
被保护的目标层 | 直觉理解 |
|---|---|---|
input_layernorm |
q_proj / k_proj / v_proj |
注意力三投影共享同一输入分布 |
self_attn.v_proj |
o_proj |
输出投影的输入来自 v 投影 |
post_attention_layernorm |
mlp.gate_proj / mlp.up_proj |
FFN 上/门投影共享输入分布 |
mlp.up_proj |
mlp.down_proj |
下投影的输入来自 up 投影 |
这张表覆盖了每一层的全部线性投影,没有任何一个矩阵被漏掉——量化覆盖是完整的。
六、"hybrid" 到底 hybrid 了什么?🔀
项目名末尾的 hybrid 指 混合执行优化,配置藏在 genai_config.json 的 RyzenAI 执行器参数中:
| 参数 | 取值 | 作用 |
|---|---|---|
hybrid_opt_max_seq_length |
4096 |
序列长度 ≤ 4096 时走混合优化推理路径(针对短序列深度优化的内核组合);更长序列回退标准路径 |
external_data_file |
model.pb.bin |
指向外部数据文件 model.pb.bin,避免图文件与权重耦合 |
简单理解:短对话走极速通道,长文档走稳定通道,让日常问答场景(绝大多数使用场景)获得最高吞吐。
另外 rai_config.json 定义了 Ryzen AI 各版本 SDK 允许的最大提示词长度(早期 1.3.1~1.5.1 为 2048,1.6.0 之后提升到 4096),部署时可据此选择匹配的运行时版本。
七、快速上手 🧭
-
获取模型(仓库为 LFS 存储,需能拉取 Git LFS 文件):
git clone https://gitcode.com/hf_mirrors/amd/Qwen-2.5_1.5B_Instruct_rai_1.8.0_hybrid -
部署:将模型目录交给 AMD 官方的 Ryzen AI 推理栈(ONNX Runtime GenAI + RyzenAI 执行器),官方文档的 hybrid OGA 章节有完整步骤,仓库 README.md 的 Quick Start 有指引。
-
生成参数:generation_config.json 推荐
temperature: 0.7、top_k: 20、top_p: 0.8、repetition_penalty: 1.1;聊天格式由 chat_template.jinja 定义,词表与分词器见 tokenizer.json / vocab.json / merges.txt。
八、文件清单一图流 🗂️
| 文件 | 角色 |
|---|---|
| config.json | 模型架构 + 量化配置(本文主角) |
| genai_config.json | ONNX Runtime GenAI 运行配置(含 hybrid 参数) |
| rai_config.json | 各 RAI 版本最大提示长度 |
| generation_config.json | 默认生成超参 |
| model.onnx / model.onnx.data | 量化后的计算图 + 权重 |
| model.pb.bin / model.bin | 执行器外部数据 / 参考权重 |
| chat_template.jinja | 对话模板 |
| tokenizer.json 等 | 分词器三件套 |
总结 ✅
Qwen-2.5_1.5B_Instruct_rai_1.8.0_hybrid 示范了一条完整的"大模型落地 AI PC"技术路线:
- AWQ 算法:按激活分布感知的重要性缩放,保护关键权重通道;
- UINT4 + Group 128 + 非对称:每 128 个参数一组独立校准,4 位存储拿下约 3.5 倍的体积压缩;
- BFP16 激活:计算链路保持 16 位精度,防止误差逐层放大;
- Hybrid 执行路径:4096 内短序列走深度优化内核,长序列走标准路径,兼顾速度与通用性。
读懂 config.json 里这份量化配置,你也就掌握了判断"任何 AWQ 量化模型好不好"的通用标尺——算法、分组、对称性、激活精度、导出格式,五个维度缺一不可。