180B大模型完全跑在GPU上:Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF完整指南

原创2026-10-20 10:05:531,895 阅读

180B大模型完全跑在GPU上:Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF完整指南

这是一份面向新手的 Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF 完整指南。它把一个 180B 参数的大模型压缩到仅 87.06 GiB(4.23 bpw),让整个模型完全运行在 96 GB 显存切分(Strix Halo 平台,如 Ryzen AI MAX+ 395 / Radeon 8060S)的 GPU 上——不依赖主机内存回退,也不在计算热路径中使用 CPU。同时它保留了视觉能力、支持推测解码(MTP),并且困惑度(PPL)与未量化模型仅相差 2.5%。

为什么选择这个 GGUF 量化版本

相比其他量化方案,这个项目有几个对普通用户很实在的优点:

特点 说明
🚀 全 GPU 运行 连 51.2B 参数的 n-gram 表都驻留显存,无 host-RAM 回退
⚡ 深度上下文下 prefill 依然快 512 token 时 423 t/s,8k 时 357 t/s,32k 时仍有 245 t/s,128k 时 138 t/s
🎯 质量更高 比同体积档位的 IQ4_XS 和 IQ3_S 方案小 20~30 GB,困惑度还更好
👁 自带视觉 模型自带的视觉塔以 f16 无损转换,无需重新量化
🧠 支持推测解码 自带 MTP 头,自适应草稿长度下实测最高约 40 tok/s
📊 imatrix 校准 用两个语料的 1540 个 chunk 校准,低比特张量贴合真实激活分布

两种文件布局:先选对再运行

仓库内提供两种布局,权重和体积完全一致(n-gram 表按 head 拆分只是字节级重构,不是重新量化):

💡 新手建议:直接下载根目录的 ple16 文件,配合 -ngl 99 即可让一切留在 GPU 上。

环境准备:编译带 ROCmFPx 的 llama.cpp 分支

Qwen3.8-Flash-Next 的模型支持已经并入上游 llama.cpp,但 ROCmFP4 量化类型、按 head 的 PLE 布局以及长上下文性能优化仍然需要特定社区分支。编译步骤如下(git checkout 到 vulkan/qwen4exp-rocmfpx 分支后执行):

cmake -B build -DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j

一键启动:最快配置方法

拿到主模型文件后,推荐命令(per-head 表 + 量化 KV + Flash Attention):

./build/bin/llama-server \
  -m Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf \
  -ngl 99 -ctk q8_0 -ctv q8_0 -fa on

如果使用 v2/ 单张量布局,则改用:

./build/bin/llama-server \
  -m v2/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-v2.gguf \
  -ngl 99 --ngram-on-disk --ngram-cache 8192

几个关键参数的含义:

  • -ngl 99:把所有层都放到 GPU 上;
  • -ctk q8_0 -ctv q8_0 -fa on:量化 KV Cache。模型 48 层中只有 12 层是全注意力,q8_0 下缓存约 12.75 KiB/token(f16 为 24 KiB),262144 token 全上下文约占 3.2 GiB 而非 6 GiB,这让长上下文能塞进 96 GiB 切分,且实测无吞吐损失;
  • --ngram-cache:默认 256 MiB,长对话请调大(如 8192),否则对话越长吞吐掉得越厉害。

开启视觉能力:发送图片给模型

仓库自带模型的视觉塔(f16 无损转换),文件为 mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf。加上 --mmproj 参数即可通过 OpenAI 兼容接口发送图片:

./build/bin/llama-server \
  -m Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf \
  --mmproj mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf \
  -ngl 99

推测解码(MTP):生成速度再提一档

模型自带多 token 预测(MTP)头,以独立 2.28 GiB 的 GGUF 文件发布。建议使用自适应草稿长度——代码类内容接受率高,散文类则偏保守,固定深度容易顾此失彼:

./build/bin/llama-server \
  -m Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf \
  -md Qwen3.8-Flash-Next-MTP-ROCmFP4-FAST.gguf \
  --spec-type draft-mtp --spec-draft-adaptive \
  --spec-draft-n-min 2 --spec-draft-n-max 4 \
  -ngl 99 --n-gpu-layers-draft 99 \
  -ctk q8_0 -ctv q8_0 -fa on

在 Strix Halo 上实测,自适应草稿下生成速度最高可达 40 tok/s(具体数值随生成内容浮动)。

采样参数:官方推荐设置

参数 思考模式 指令模式(非思考)
temperature 1.0 0.7
top_p 0.95 0.80
top_k 20 20
min_p 0.0 0.0
presence_penalty 0.0 1.5
repetition_penalty 1.0 1.0

量化质量与长上下文实测表现

困惑度对比(wikitext-2,145 chunks,-c 2048):

版本 体积 相对各自参考的 PPL 偏差
AesSedai IQ3_S 107.38 GiB +6.10%
本文件 87.06 GiB +2.48%
AesSedai IQ4_XS 117.13 GiB +3.12%
AesSedai Q4_K_M 135.38 GiB +0.61%

本文件比未量化参考仅高 +2.48%,且体积比 IQ4_XS / IQ3_S 小 20~30 GB。

长上下文吞吐(q8_0 KV,同机器交叉测试,相对数值):

上下文深度 prefill(t/s) 生成无 MTP(t/s)
512 423.3 27.77
2048 406.5 27.36
8192 357.2 26.67
16384 301.0 25.54
32768 245.5 24.67
65536 188.0 23.09
131072 137.7 19.70

值得注意的两点:

  • 布局比量化更关键:本文件在同一二进制下比 AP-IQ4_XS prefill 快 12~34%,一部分来自 ROCmFP4 类型反量化更便宜,另一部分来自 n-gram 表驻留显存而非放在主机内存;
  • 分支的长上下文优势随深度放大:同一 AP-IQ4_XS 文件在主线上 32k 时 prefill 慢 2.8 倍、decode 只有 11.85 t/s,而本文件在 128k 深度仍保持 19.7 t/s(相当于 512 深度时的 71%)。

文件资源清单

文件 用途
Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf 主模型(推荐,全 GPU 布局)
v2/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-v2.gguf 主模型(单张量布局,需 --ngram-on-disk)
mmproj/mmproj-Qwen3.8-Flash-Next-f16.gguf 视觉塔(f16 无损)
README.md 完整说明、性能数据与致谢

常见问题速答

Q:我的机器没有 96 GB 显存切分,能跑吗? 该文件为 128 GB 统一内存 + 96 GiB VRAM 切分的 Strix Halo 平台设计。显存不足的机器建议考虑其他更低比特的 Qwen3.8-Flash-Next 量化版本。

Q:为什么 v2/ 文件不能直接全放 GPU? 其 n-gram 表是单个超大张量,超出多数 Vulkan 设备接受单缓冲的上限,必须用 --ngram-on-disk 或允许主机内存。

Q:长对话变慢怎么办? 调大 --ngram-cache(如 8192),并确认使用了量化 KV(-ctk q8_0 -ctv q8_0 -fa on)。


许可说明:本量化遵循 Qwen Community License 1.0,基座模型来自 Qwen 团队,量化格式移植自社区的 ROCmFPX 项目(MIT 许可),量化与发布由 Agention 完成。

登录后查看全文
Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF