180B大模型完全跑在GPU上:Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF完整指南
180B大模型完全跑在GPU上:Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF完整指南
这是一份面向新手的 Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF 完整指南。它把一个 180B 参数的大模型压缩到仅 87.06 GiB(4.23 bpw),让整个模型完全运行在 96 GB 显存切分(Strix Halo 平台,如 Ryzen AI MAX+ 395 / Radeon 8060S)的 GPU 上——不依赖主机内存回退,也不在计算热路径中使用 CPU。同时它保留了视觉能力、支持推测解码(MTP),并且困惑度(PPL)与未量化模型仅相差 2.5%。
为什么选择这个 GGUF 量化版本
相比其他量化方案,这个项目有几个对普通用户很实在的优点:
| 特点 | 说明 |
|---|---|
| 🚀 全 GPU 运行 | 连 51.2B 参数的 n-gram 表都驻留显存,无 host-RAM 回退 |
| ⚡ 深度上下文下 prefill 依然快 | 512 token 时 423 t/s,8k 时 357 t/s,32k 时仍有 245 t/s,128k 时 138 t/s |
| 🎯 质量更高 | 比同体积档位的 IQ4_XS 和 IQ3_S 方案小 20~30 GB,困惑度还更好 |
| 👁 自带视觉 | 模型自带的视觉塔以 f16 无损转换,无需重新量化 |
| 🧠 支持推测解码 | 自带 MTP 头,自适应草稿长度下实测最高约 40 tok/s |
| 📊 imatrix 校准 | 用两个语料的 1540 个 chunk 校准,低比特张量贴合真实激活分布 |
两种文件布局:先选对再运行
仓库内提供两种布局,权重和体积完全一致(n-gram 表按 head 拆分只是字节级重构,不是重新量化):
- 根目录布局(推荐):n-gram 表按 head 拆分,全部驻留显存。对应文件: Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf
v2/布局:n-gram 表是单个大张量,可移植性好,但单张量体积超出多数 Vulkan 设备的单缓冲上限,需要--ngram-on-disk或主机内存。对应文件: v2/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-v2.gguf
💡 新手建议:直接下载根目录的
ple16文件,配合-ngl 99即可让一切留在 GPU 上。
环境准备:编译带 ROCmFPx 的 llama.cpp 分支
Qwen3.8-Flash-Next 的模型支持已经并入上游 llama.cpp,但 ROCmFP4 量化类型、按 head 的 PLE 布局以及长上下文性能优化仍然需要特定社区分支。编译步骤如下(git checkout 到 vulkan/qwen4exp-rocmfpx 分支后执行):
cmake -B build -DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j
一键启动:最快配置方法
拿到主模型文件后,推荐命令(per-head 表 + 量化 KV + Flash Attention):
./build/bin/llama-server \
-m Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf \
-ngl 99 -ctk q8_0 -ctv q8_0 -fa on
如果使用 v2/ 单张量布局,则改用:
./build/bin/llama-server \
-m v2/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-v2.gguf \
-ngl 99 --ngram-on-disk --ngram-cache 8192
几个关键参数的含义:
-ngl 99:把所有层都放到 GPU 上;-ctk q8_0 -ctv q8_0 -fa on:量化 KV Cache。模型 48 层中只有 12 层是全注意力,q8_0 下缓存约 12.75 KiB/token(f16 为 24 KiB),262144 token 全上下文约占 3.2 GiB 而非 6 GiB,这让长上下文能塞进 96 GiB 切分,且实测无吞吐损失;--ngram-cache:默认 256 MiB,长对话请调大(如 8192),否则对话越长吞吐掉得越厉害。
开启视觉能力:发送图片给模型
仓库自带模型的视觉塔(f16 无损转换),文件为 mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf。加上 --mmproj 参数即可通过 OpenAI 兼容接口发送图片:
./build/bin/llama-server \
-m Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf \
--mmproj mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf \
-ngl 99
推测解码(MTP):生成速度再提一档
模型自带多 token 预测(MTP)头,以独立 2.28 GiB 的 GGUF 文件发布。建议使用自适应草稿长度——代码类内容接受率高,散文类则偏保守,固定深度容易顾此失彼:
./build/bin/llama-server \
-m Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf \
-md Qwen3.8-Flash-Next-MTP-ROCmFP4-FAST.gguf \
--spec-type draft-mtp --spec-draft-adaptive \
--spec-draft-n-min 2 --spec-draft-n-max 4 \
-ngl 99 --n-gpu-layers-draft 99 \
-ctk q8_0 -ctv q8_0 -fa on
在 Strix Halo 上实测,自适应草稿下生成速度最高可达 40 tok/s(具体数值随生成内容浮动)。
采样参数:官方推荐设置
| 参数 | 思考模式 | 指令模式(非思考) |
|---|---|---|
| temperature | 1.0 | 0.7 |
| top_p | 0.95 | 0.80 |
| top_k | 20 | 20 |
| min_p | 0.0 | 0.0 |
| presence_penalty | 0.0 | 1.5 |
| repetition_penalty | 1.0 | 1.0 |
量化质量与长上下文实测表现
困惑度对比(wikitext-2,145 chunks,-c 2048):
| 版本 | 体积 | 相对各自参考的 PPL 偏差 |
|---|---|---|
| AesSedai IQ3_S | 107.38 GiB | +6.10% |
| 本文件 | 87.06 GiB | +2.48% |
| AesSedai IQ4_XS | 117.13 GiB | +3.12% |
| AesSedai Q4_K_M | 135.38 GiB | +0.61% |
本文件比未量化参考仅高 +2.48%,且体积比 IQ4_XS / IQ3_S 小 20~30 GB。
长上下文吞吐(q8_0 KV,同机器交叉测试,相对数值):
| 上下文深度 | prefill(t/s) | 生成无 MTP(t/s) |
|---|---|---|
| 512 | 423.3 | 27.77 |
| 2048 | 406.5 | 27.36 |
| 8192 | 357.2 | 26.67 |
| 16384 | 301.0 | 25.54 |
| 32768 | 245.5 | 24.67 |
| 65536 | 188.0 | 23.09 |
| 131072 | 137.7 | 19.70 |
值得注意的两点:
- 布局比量化更关键:本文件在同一二进制下比
AP-IQ4_XSprefill 快 12~34%,一部分来自 ROCmFP4 类型反量化更便宜,另一部分来自 n-gram 表驻留显存而非放在主机内存; - 分支的长上下文优势随深度放大:同一
AP-IQ4_XS文件在主线上 32k 时 prefill 慢 2.8 倍、decode 只有 11.85 t/s,而本文件在 128k 深度仍保持 19.7 t/s(相当于 512 深度时的 71%)。
文件资源清单
| 文件 | 用途 |
|---|---|
| Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf | 主模型(推荐,全 GPU 布局) |
| v2/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-v2.gguf | 主模型(单张量布局,需 --ngram-on-disk) |
| mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf | 视觉塔(f16 无损) |
| README.md | 完整说明、性能数据与致谢 |
常见问题速答
Q:我的机器没有 96 GB 显存切分,能跑吗? 该文件为 128 GB 统一内存 + 96 GiB VRAM 切分的 Strix Halo 平台设计。显存不足的机器建议考虑其他更低比特的 Qwen3.8-Flash-Next 量化版本。
Q:为什么 v2/ 文件不能直接全放 GPU?
其 n-gram 表是单个超大张量,超出多数 Vulkan 设备接受单缓冲的上限,必须用 --ngram-on-disk 或允许主机内存。
Q:长对话变慢怎么办?
调大 --ngram-cache(如 8192),并确认使用了量化 KV(-ctk q8_0 -ctv q8_0 -fa on)。
许可说明:本量化遵循 Qwen Community License 1.0,基座模型来自 Qwen 团队,量化格式移植自社区的 ROCmFPX 项目(MIT 许可),量化与发布由 Agention 完成。