DeepSeek-V4.1-Flash-Quark-PTPC-FP8完全指南:AMD官方PTPC-FP8量化实现GSM8K零损失,MI350免费部署1M上下文多模态MoE

原创2026-10-17 10:03:451,698 阅读

DeepSeek-V4.1-Flash-Quark-PTPC-FP8完全指南:AMD官方PTPC-FP8量化实现GSM8K零损失,MI350免费部署1M上下文多模态MoE

本文是 DeepSeek-V4.1-Flash-Quark-PTPC-FP8 的完全指南。这是 AMD 官方基于 AMD Quark 量化工具发布的 PTPC-FP8 量化权重,专为 AMD MI355 / MI350(gfx950)显卡优化:在 GSM8K 基准上与原模型同为 92.95% 分、精度恢复率 100%,支持 1M 超长上下文和多模态(文本+图像)输入,采用 MoE 混合专家架构,MIT 协议免费下载部署。

一、PTPC-FP8 量化是什么?为什么能“零损失”

📌 一句话理解:PTPC-FP8(Per-Channel FP8)是把模型权重压缩成 8 位浮点(fp8_e4m3)、并按“通道”粒度保存缩放系数的量化方案。相比 16 位原始权重,显存占用和传输带宽大约减半,而 AMD 通过精心选择“哪些层量化、哪些层保留”做到了几乎无损。

本仓库的量化策略(见 config.json 中的 quantization_config):

部分 处理方式 原因
experts / shared_experts(MoE 专家权重) PTPC-FP8 量化 参数量最大,收益最高
self_attn(注意力) PTPC-FP8 量化 激活值动态量化(per-channel + 动态输入缩放)
engram.embed(n-gram 记忆库) PTPC-FP8 量化 词表高达 1600 万,必须压缩
视觉塔 vision.*、head、MoE 路由门 ffn.gate 等 保留原始精度 对精度敏感,量化易掉点

💡 排除清单可直接在 config.json 的 exclude 字段中查看,量化由 AMD Quark v0.13.0 以 file2file 模式从上游 MXFP4/MXFP8 权重转换而来。

二、模型亮点速览:1M 上下文 + 多模态 MoE 架构

从 config.json 可读出这套架构的核心参数:

特性 规格 对用户的意义
架构 DeepseekV41ForCausalLM 文本 + 图像输入,文本输出
最大上下文 1,048,576(1M) 可塞入整本小说/整个代码库,靠 YaRN 外推(factor=16)
MoE 专家 384 路由专家 + 1 共享专家,每 token 激活 6 个 稀疏计算,长文本生成更快
KV 压缩 40 层中按 compress_ratios 分层压缩 KV 长上下文显存占用大降
Engram 记忆 第 1、14 层的 n-gram 查找表(最大 4-gram) 高频短语“查表即得”,加速解码
视觉塔 32 层、patch=14 图文混合提问,如识图
MTP 3 层 DSpark 多 token 预测 提前预测后续 token 提速
权重规模 约 716 GB / 48 个 safetensors 分片 需多卡张量并行部署

DeepSeek-V4.1-Flash PTPC-FP8 多模态输入示例图片

官方示例中的多模态输入图片(来自 inference/examples/example.txt 的图文混合提问)

三、GSM8K 零损失:量化精度实测数据

用 vLLM + lm-eval 在相同框架、相同配置下对比,结果写在 README.md:

基准测试 原模型 DeepSeek-V4.1-Flash 本量化模型 精度恢复率
GSM8K(8-shot,flexible-extract) 92.95 92.95 100.0%

🎯 也就是说,把 700+ GB 的权重压成 FP8 后,数学推理能力一分不丢——这正是“关键层不量化”策略的价值。复现步骤见下一节与 evaluation/README.md。

四、MI350 一键部署:vLLM 最快配置方法

1️⃣ 准备环境

  • 硬件:AMD MI355 / MI350(gfx950),4 卡起步(张量并行 TP=4)
  • 软件:ROCm 7.2.0、PyTorch 2.12.0、Transformers 5.17.0、Linux
  • 拉取官方镜像并克隆模型仓库:
git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8
docker pull vllm/vllm-openai-rocm:nightly-eed1f3d0c6043bd494424a22443ee198dd56f657

2️⃣ 启动 vLLM 服务(4 卡)

export HIP_VISIBLE_DEVICES=0,1,2,3
export VLLM_ROCM_USE_AITER=1
export VLLM_ROCM_USE_AITER_MOE=1
export VLLM_ROCM_USE_AITER_MHA=1
export SAFETENSORS_FAST_GPU=1
export VLLM_MOE_SKIP_PADDING=0
vllm serve amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 \
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --moe-backend aiter \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90 \
  --port 8008

⚠️ 注意:部署需要 vLLM 打上两个官方 PR(#57760、#57071)补丁,--moe-backend aiter 是 MoE 层跑满性能的关键。

3️⃣ 复现 GSM8K 评测

新终端中执行,30 分钟即可验证 100% 精度恢复率:

lm_eval \
  --model local-completions \
  --tasks gsm8k \
  --model_args "model=amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8,base_url=http://127.0.0.1:8008/v1/completions,num_concurrent=32,max_retries=5,timeout=1800,tokenized_requests=False,tokenizer_backend=None,max_length=8192" \
  --gen_kwargs "max_gen_toks=4096" \
  --num_fewshot 8 \
  --output_path /tmp/gsm8k-dsv41-ptpc-fp8

五、不装 vLLM 也能玩:官方最小推理实现

仓库自带一套可读性极强的参考推理代码(inference/),覆盖视觉编码器、滑动窗口+压缩稀疏注意力、Engram n-gram 查表、MoE、Hyper-Connections 和 DSpark 前向链路,依赖见 inference/requirements.txt:

cd inference
python -m pip install -r requirements.txt
python convert.py --hf-ckpt-path /path/to/ckpt --save-path /path/to/TP8 \
  --model-parallel 8 --expert-dtype fp4
INPUT_FILE=examples/example.txt ./run.sh
torchrun --nproc-per-node 8 generate.py --ckpt-path /path/to/TP8 \
  --config config.json --interactive --temperature 0.6

示例输入支持“文本+图片混排”提问(inference/examples/example.txt、inference/examples/example_harmony.json),图片预处理逻辑在 inference/image_processor.py,底层 FP8/FP4 加速核函数由 tilelang 编写,位于 inference/kernel.py。想跑自检测只需 python model.py(见 inference/README.md)。

🔧 若你是对接应用的一方,encoding/ 目录提供了独立的提示词编码参考:多轮对话、工具调用(DSML 格式)、thinking 模式、推理力度预算(1–100)、中途 system 消息、图文混排都能处理,入口是 encode_messages(),测试用例在 encoding/tests/,详见 encoding/README.md。

六、仓库文件导读

路径 内容
config.json 模型架构 + PTPC-FP8 量化配置(excluded 层清单)
model.safetensors.index.json 48 个权重分片的张量索引
README.md 量化脚本、vLLM 部署与 GSM8K 评测全流程
inference/ 参考推理实现(convert.py / generate.py / kernel.py / engram.py / vision.py)
encoding/ 提示词格式编码参考(chat / thinking / 工具调用)
evaluation/ 评测说明与 dsh-minimal.patch(DeepSWE 参考补丁)
LICENSE MIT 许可证(与上游模型一致,免费下载商用)

七、总结:适合谁用?

✅ 推荐:手握 MI350 / MI355 集群、想要 1M 上下文 + 多模态 + 代码/Agent 能力、又希望权重体积和显存占用减半的团队;FP8 量化精度零损失,生产可用。

✅ 不推荐:NVIDIA 显卡用户(本权重针对 gfx950 优化)、显存不足以跑 4 卡张量并行的单机环境。

下一步:按第四节命令拉起 vLLM 服务 → 用第三节复现 92.95 分 → 打开 inference/ 跑通图文混合示例,即可完整体验这套 AMD 官方 PTPC-FP8 量化方案。

登录后查看全文
DeepSeek-V4.1-Flash-Quark-PTPC-FP8