QaRot旋转+Smooth Quant+FA3量化:拆解Qwen3.8-27B-w8a8c8-mxfp8四阶段量化流水线
QaRot旋转+Smooth Quant+FA3量化:拆解Qwen3.8-27B-w8a8c8-mxfp8四阶段量化流水线
Qwen3.8-27B-w8a8c8-mxfp8 是 Qwen3.8-27B 多模态大模型面向昇腾 NPU 的量化版本,其核心是一条「QaRot 旋转量化 + Smooth Quant 平滑量化 + linear 线性量化 + FA3 注意力量化」的四阶段 MXFP8 量化流水线。本文带你逐阶段看懂 w8a8c8 量化格式下每一步在做什么、配置里每个参数是什么意思,以及如何复现与部署,适合量化新手快速建立整体认知。
1️⃣ 模型速览:这是一个什么样的量化模型?
| 项目 | 说明 |
|---|---|
| 原始模型 | Qwen3.8-27B(270 亿参数多模态模型,支持图文输入,256K 上下文) |
| 量化格式 | w8a8c8 / MXFP8(权重 8bit、激活 8bit、计算 8bit) |
| 目标硬件 | 昇腾 NPU(已通过 vLLM-Ascend + Ascend 950 验证) |
| 任务类型 | image-text-to-text(视觉语言对话,见 configuration.json) |
在拆解流水线之前,先了解两个会影响量化策略的关键架构特点(详见 config.json):
- 混合注意力结构:模型共 64 层,每 4 层有 1 层
full_attention,其余都是linear_attention(线性注意力)。这直接决定了后面 FA3 量化只覆盖哪部分层。 - 多模态 + MTP:视觉塔(
vision_config)之外还有 1 层 MTP(多 token 预测)层,它们同样会被量化流程排除或特殊处理。
2️⃣ 四阶段量化流水线总览
整条流水线只由一个配置文件定义:Qwen3.6-27B_best_practice.yaml。四个阶段按顺序执行:
Qwen3.8-27B 原始权重 (bf16)
│
│ ① QaRot 旋转量化:预计算并导出旋转矩阵
▼
│ ② flex_smooth_quant:自动搜索平滑系数,均衡权重/激活
▼
│ ③ linear_quant:Linear 层权重+激活量化为 MXFP8
▼
│ ④ fa3_quant:注意力 Q/K/V 量化为 MXFP8
▼
Qwen3.8-27B-w8a8c8-mxfp8(10 个权重的分片文件)
💡 一句话理解四阶段分工:①② 是"预处理",负责把难量化的数据变"乖";③④ 是"真量化",③ 管普通线性层,④ 专管注意力内部。
3️⃣ 阶段一 | QaRot 旋转量化:提前旋转权重,压平离群值
为什么要旋转? 大模型激活里常存在极少数数值极大的"离群值"(outlier),直接量化成 8bit 会让误差集中爆发。QuaRot 思路是用正交旋转矩阵把离群值"摊平"到各个维度,分布更平滑后 MXFP8 才能稳稳接住。
对应配置(Qwen3.6-27B_best_practice.yaml):
| 参数 | 取值 | 含义 |
|---|---|---|
block_size |
32 | 与 MXFP8 的 32 元素块粒度对齐 |
online |
false | 推理时不做在线旋转,旋转提前离线完成 |
max_tp_size |
4 | 旋转矩阵预切分支持最多 4 路张量并行 |
export_extra_info |
true | 把旋转矩阵导出为独立文件 |
导出的旋转矩阵就是 optional/quarot.safetensors(约 100MB)。推理引擎加载它后直接完成"旋转后的计算",不额外拖慢服务。
4️⃣ 阶段二 | Smooth Quant:自动均衡权重与激活的"难度"
Smooth Quant(平滑量化)通过一个对角缩放矩阵,把激活的量化难度"迁移"一部分到权重上,让两者变得同样容易量化。
对应配置(Qwen3.6-27B_best_practice.yaml):
alpha: null/beta: null—— 表示自动搜索最优平滑系数,新手无需手动调参;enable_subgraph_type覆盖了norm-linear、linear-linear、ov、up-down四类子图,保证 Norm 后接 Linear、MoE 上下投影等关键路径都被处理;include: '*'对全模型生效,exclude为空。
5️⃣ 阶段三 | linear_quant:权重与激活量化为 MXFP8
这一步是真正的"线性层量化",配置见 Qwen3.6-27B_best_practice.yaml:
| 对象 | 数据类型 | 粒度 | 对称性 | 算法 |
|---|---|---|---|---|
| 权重 weight | mxfp8 | per_block | 对称 | minmax |
| 激活 act | mxfp8 | per_block | 对称 | minmax |
📚 MXFP8 是什么? OCP 微缩放 FP8 格式:每 32 个元素共享一个 E8M0 块缩放因子,兼顾 FP8 的速度与动态范围,是 Ascend 950 上 w8a8c8 推理的主流选择。
include: '*' 意味着所有 Linear 层都进入量化范围——它与阶段四的 FA3 量化形成互补:Linear 归 Linear 管,注意力内部的 Q/K/V 归 FA3 管。
6️⃣ 阶段四 | FA3 量化:让注意力 Q/K/V 跑满 FlashAttention-3
注意力计算是解码阶段的吞吐瓶颈。FA3 量化把 self-attention 内部的 Q、K、V 也量化成 MXFP8,让 FlashAttention-3 内核以 FP8 精度执行,显著提速。
对应配置(Qwen3.6-27B_best_practice.yaml):
| 张量 | 数据类型 | 粒度 | 说明 |
|---|---|---|---|
fa_q |
mxfp8 | per_block | 查询矩阵按 32 元素块量化 |
fa_k |
mxfp8 | per_block | 键矩阵按 32 元素块量化 |
fa_v |
mxfp8 | per_channel | 值矩阵按通道量化,数值更稳定 |
注意作用范围与第 1 节的混合注意力结构严格呼应:
include: ['*self_attn*']—— 只处理标准 self-attention 层;exclude了*linear_attn*、mtp*、*visual*—— 线性注意力层不走 QKV 路径(其内部线性层已由阶段三覆盖),MTP 层与视觉塔同样跳过。
7️⃣ 如何执行量化:一条 msmodelslim quant 命令
原始模型的量化由 ModelSlim 工具链完成,命令记录在 README.md:
msmodelslim quant \
--model_path weights/Qwen3.8-27B/ \
--save_path weights/Qwen3.8-27B-w8a8c8-mxfp8/ \
--device npu \
--model_type Qwen3.6-27B \
--device_id 0 1 2 3 4 5 6 7 \
--config lab_practice/qwen3_5_moe/qwen3_8_27B_w8a8c8.yaml \
--trust_remote_code true
要点:--device_id 0~7 表示 8 卡 NPU 并行量化;--config 指向的 yaml 就是本文拆解的四阶段配置。
8️⃣ 模型文件结构速查
| 文件 | 作用 |
|---|---|
| quant_model_weights-00001-of-00010.safetensors ~ 00010 | 量化后权重,共 10 个分片(合计约 35GB) |
| quant_model_weights.safetensors.index.json | 权重分片索引,供推理框架按名加载 |
| quant_model_description.json | 量化元数据:记录各权重的量化格式与参数 |
| optional/quarot.safetensors | 阶段一导出的 QaRot 旋转矩阵 |
| config.json | 模型架构配置(混合注意力、视觉塔等) |
| generation_config.json | 采样参数(temperature 1.0、top_k 20、top_p 0.95) |
| chat_template.jinja / tokenizer.json 等 | 对话模板与分词器,保证与原始模型一致 |
| crc32.txt | 各文本文件的 CRC32 校验值,用于完整性验证 |
9️⃣ 部署与精度注意事项
- 推荐部署方式:配置文件中标注了验证环境为 vLLM-Ascend + Ascend_950(见 Qwen3.6-27B_best_practice.yaml),请优先在该组合下部署。
- 获取模型:权重文件通过 Git LFS 分发,下载仓库时请确保环境已安装
git-lfs:
git clone https://gitcode.com/Eco-Tech/Qwen3.8-27B-w8a8c8-mxfp8.git
- 精度提示:据 README.md 说明,量化精度存在波动,建议多次测试取稳定值,再与原模型(bf16)对比评估。
10️⃣ 常见问题 FAQ
Q1:w8a8c8 里的 "c8" 指什么? A:c 代表 compute(计算/通信精度),即 GEMM 累加与张量并行通信也走 8bit 通路,与权重、激活的 8bit 配套,才能充分发挥 MXFP8 硬件加速。
Q2:为什么 QaRot 矩阵单独放在 optional/ 目录?
A:它是推理引擎可选加载的"附加信息"(由 export_extra_info: true 生成),不放进主权重分片,加载更灵活。
Q3:线性注意力层为什么不做 FA3 量化?
A:linear attention 不经过标准 Q×Kᵀ×V 的注意力路径,FA3 内核不适用;其内部投影矩阵已由阶段三 linear_quant 覆盖,量化并未遗漏。
总结
Qwen3.8-27B-w8a8c8-mxfp8 展示了昇腾平台上大模型量化的一条完整工程范式:QaRot 先把分布变平滑 → Smooth Quant 自动均衡权重与激活 → linear_quant 完成主体 MXFP8 量化 → fa3_quant 补齐注意力内部,最终以 10 个分片 + 旋转矩阵 + 量化元数据的形式交付,可直接用于 vLLM-Ascend 部署。理解这条流水线后,你也能把同样的四阶段思路迁移到其他模型与量化配置上。