ROCmFP4量化格式原理:为什么解量化比IQ4更快?Qwen3.8-Flash-Next GGUF完整指南
ROCmFP4量化格式原理:为什么解量化比IQ4更快?Qwen3.8-Flash-Next GGUF完整指南
这篇文章详解 Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF 项目背后的速度原理:180B 参数模型经 ROCmFP4 量化压缩到 87.06 GiB(4.23 bpw),全程跑在 GPU 上,512 token 时 prefill 达 423 t/s,解量化明显快于 IQ4_XS 量化。
30秒看懂:这个项目是什么 🧩
简单说,它让一个 180B 的大模型完整装进一块显卡:
- 全程 GPU 驻留——不仅是专家层,连 51.2B 参数的 n-gram 表也不走主机内存,没有 CPU 兜底计算
- 目标硬件:128 GB 统一内存机器(如 Strix Halo / Ryzen AI MAX+ 395 的 96 GiB 显存切分)
- 精度损失极小——困惑度与未量化模型相差 2.5% 以内
- 附带视觉与 MTP 投机解码,生成速度最高可达 40 tok/s
仓库内三个关键文件:
| 文件 | 作用 |
|---|---|
| Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf | 主权重:n-gram 表按头切分、完全驻留显存,推荐使用 |
| v2/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-v2.gguf | v2 布局:n-gram 表是单一大张量,需配合 --ngram-on-disk 或主机内存 |
| mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf | f16 无损视觉塔(vision tower) |
两种布局权重与体积完全相同,区别只是 n-gram 表的存放方式(按 README.md 的说法,按头切分是逐字节重构而非重新量化)。
解量化原理:ROCmFP4 凭什么比 IQ4 快 ⚡
先理解一个前提:prefill(提示词处理阶段)是计算瓶颈(compute-bound)。GPU 做矩阵乘法时,低精度权重必须实时"展开"回高精度参与运算——这个动作叫解量化(dequantize)。它发生在每一次前向、每一个矩阵乘里,单次解量化的开销会被成百上千次运算放大,直接决定 prefill 速度。
IQ4_XS:超块嵌套查找
IQ 系列(IQ4_XS 属于此类)采用超块结构:256 个元素组成一个超块,再分成 8 组、每组 32 个元素。解量化每个元素要完成一连串操作:
- 把 4 位数据和 2 位数据拼成索引
- 从 256 项基础值表中查表(由
qscale选出用哪张表) - 叠加独立存储的符号位
- 再按
qscales取出组级缩放系数相乘
两次查表、一次位拼接、一次符号处理——每个元素都要走这套流程,ALU 指令数多。
ROCmFP4:一步到位的块级浮点
ROCmFP4 属于块级缩放的 FP4 格式:权重本身是 4 位浮点数(e2m1,符号包含在数值里),每个固定长度的块共享一个 FP8(e4m3)缩放系数。解量化只需两步:
- 4 位浮点查一张十几项的常量表
- 乘以块级缩放系数,完事
没有超块、没有嵌套查找、没有独立符号位。
| 对比项 | IQ4_XS(IQ 系列) | ROCmFP4 |
|---|---|---|
| 数据单位 | 4 位定点整数 | 4 位浮点(e2m1) |
| 缩放层级 | 两级(超块 + 组) | 一级(块) |
| 符号处理 | 独立符号位 | 已含在浮点位中 |
| 每元素解量化 | 位拼接 + 2 次查表 + 符号 + 相乘 | 1 次查表 + 1 次乘法 |
📐 说明:以上是两种公开量化格式家族的原理级对比(llama.cpp GGUF 量化系列的公开特性)。具体反量化内核实现见本项目所用的 llama.cpp 分支
vulkan/qwen4exp-rocmfpx(量化格式手工移植自 ciru-ai/ROCmFPX 项目)。
实测数据:prefill 快了多少 📊
下面是 README.md 中的长上下文横评(单位 t/s,同一台机器、q8_0 KV 缓存、各方案交错测试,未含 MTP):
Prefill 吞吐
| 上下文深度 | 本文件(ROCmFP4) | AP-IQ4_XS(同分支) | AP-IQ4_XS(主线 llama.cpp) |
|---|---|---|---|
| 512 | 423.3 | 315.9 | 245.6 |
| 8192 | 357.2 | 275.1 | 153.0 |
| 32768 | 245.5 | 194.2 | 70.6 |
| 131072 | 137.7 | 122.3 | —(中途放弃) |
生成(decode)吞吐
| 上下文深度 | 本文件(ROCmFP4) | AP-IQ4_XS(同分支) | AP-IQ4_XS(主线) |
|---|---|---|---|
| 512 | 27.77 | 25.05 | 26.39 |
| 8192 | 26.67 | 25.07 | 18.67 |
| 32768 | 24.67 | 22.46 | 11.85 |
| 131072 | 19.70 | 18.10 | — |
在 128k 深度,本文件仍以 19.7 t/s 生成,保持 512 深度速度的 71%——长上下文几乎没有"塌方"。
⚖️ 诚实提示:作者在 README.md 中明确说明,同分支下 12–34% 的 prefill 领先并非全部来自量化格式——本文件的 n-gram 表按头切分后驻留在显存里,而 AP-IQ4_XS 是把它当作 28.8 GiB 的单个张量放在主机内存中。格式便宜解量化与表存放位置这两块贡献,该对比并未完全拆开。
速度之外:质量反而更好 ✅
wikitext-2 原始困惑度(145 chunks、-c 2048,见 README.md):
| 版本 | 体积 | 相对各自参考模型的 PPL |
|---|---|---|
| 本文件(ROCmFP4 imatrix) | 87.06 GiB | +2.48% |
| IQ3_S | 107.38 GiB | +6.10% |
| IQ4_XS | 117.13 GiB | +3.12% |
| Q4_K_M | 135.38 GiB | +0.61% |
比 IQ4_XS 和 IQ3_S 小 20–30 GB 的同时精度更好(约两个标准误)。秘密之一是 imatrix 校准:用两个语料库的 1540 个 chunk 做校准,让低比特张量"拟合真实激活分布"而不是靠假设。
快速上手:三步跑起来 🔧
第 1 步:获取 llama.cpp 分支并启用 Vulkan 编译(qwen4exp 模型支持本身已合入上游,该分支主要为 ROCmFPx 量化类型与按头 PLE 布局所需,见 README.md):
git clone https://github.com/LaurentZuijdwijk/llama.cpp
cd llama.cpp && git checkout vulkan/qwen4exp-rocmfpx
cmake -B build -DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j
第 2 步:推荐启动命令(按头布局,全部权重上 GPU):
./build/bin/llama-server \
-m Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf \
-ngl 99 -ctk q8_0 -ctv q8_0 -fa on
第 3 步(可选):加 --mmproj mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf 开启视觉输入,走 OpenAI 兼容端点发图片即可。
💡 KV 缓存建议:48 层里只有 12 层是全注意力,q8_0 KV 缓存仅约 12.75 KiB/token(f16 约 24 KiB/token),在 262144 token 全上下文下省约 3.2 GiB 显存且实测无吞吐损失——这正是 87 GiB 权重能与长上下文共存于 96 GiB 切分的关键。
加分项:MTP 投机解码 🚀
模型自带多 token 预测(MTP)头,单独打包分发(2.28 GiB)。用自适应草稿长度(--spec-draft-n-min 2 --spec-draft-n-max 4)而不是固定深度——代码场景接受率高、散文场景则不然——在 Strix Halo 上观察到最高 40 tok/s 的生成速度。
总结
- Prefill 是计算瓶颈,解量化成本会被每次矩阵乘放大,这是格式之争的核心
- ROCmFP4:一级块级缩放,每元素"1 次查表 + 1 次乘法";IQ4_XS:超块嵌套两级查表加符号处理,指令数明显更多
- 同分支实测 prefill 快 12–34%,其中一部分来自格式、一部分来自 n-gram 表驻留显存的布局
- 87.06 GiB、4.23 bpw、PPL +2.48%,全部权重 GPU 驻留——更快、更小、还更准