DeepSeek-V4.1-Flash-Quark-PTPC-FP8完全指南:AMD官方PTPC-FP8量化实现GSM8K零损失,MI350免费部署1M上下文多模态MoE
DeepSeek-V4.1-Flash-Quark-PTPC-FP8完全指南:AMD官方PTPC-FP8量化实现GSM8K零损失,MI350免费部署1M上下文多模态MoE
本文是 DeepSeek-V4.1-Flash-Quark-PTPC-FP8 的完全指南。这是 AMD 官方基于 AMD Quark 量化工具发布的 PTPC-FP8 量化权重,专为 AMD MI355 / MI350(gfx950)显卡优化:在 GSM8K 基准上与原模型同为 92.95% 分、精度恢复率 100%,支持 1M 超长上下文和多模态(文本+图像)输入,采用 MoE 混合专家架构,MIT 协议免费下载部署。
一、PTPC-FP8 量化是什么?为什么能“零损失”
📌 一句话理解:PTPC-FP8(Per-Channel FP8)是把模型权重压缩成 8 位浮点(fp8_e4m3)、并按“通道”粒度保存缩放系数的量化方案。相比 16 位原始权重,显存占用和传输带宽大约减半,而 AMD 通过精心选择“哪些层量化、哪些层保留”做到了几乎无损。
本仓库的量化策略(见 config.json 中的 quantization_config):
| 部分 | 处理方式 | 原因 |
|---|---|---|
experts / shared_experts(MoE 专家权重) |
PTPC-FP8 量化 | 参数量最大,收益最高 |
self_attn(注意力) |
PTPC-FP8 量化 | 激活值动态量化(per-channel + 动态输入缩放) |
engram.embed(n-gram 记忆库) |
PTPC-FP8 量化 | 词表高达 1600 万,必须压缩 |
视觉塔 vision.*、head、MoE 路由门 ffn.gate 等 |
保留原始精度 | 对精度敏感,量化易掉点 |
💡 排除清单可直接在 config.json 的
exclude字段中查看,量化由 AMD Quark v0.13.0 以file2file模式从上游 MXFP4/MXFP8 权重转换而来。
二、模型亮点速览:1M 上下文 + 多模态 MoE 架构
从 config.json 可读出这套架构的核心参数:
| 特性 | 规格 | 对用户的意义 |
|---|---|---|
| 架构 | DeepseekV41ForCausalLM |
文本 + 图像输入,文本输出 |
| 最大上下文 | 1,048,576(1M) | 可塞入整本小说/整个代码库,靠 YaRN 外推(factor=16) |
| MoE 专家 | 384 路由专家 + 1 共享专家,每 token 激活 6 个 | 稀疏计算,长文本生成更快 |
| KV 压缩 | 40 层中按 compress_ratios 分层压缩 KV |
长上下文显存占用大降 |
| Engram 记忆 | 第 1、14 层的 n-gram 查找表(最大 4-gram) | 高频短语“查表即得”,加速解码 |
| 视觉塔 | 32 层、patch=14 | 图文混合提问,如识图 |
| MTP | 3 层 DSpark 多 token 预测 | 提前预测后续 token 提速 |
| 权重规模 | 约 716 GB / 48 个 safetensors 分片 | 需多卡张量并行部署 |
官方示例中的多模态输入图片(来自 inference/examples/example.txt 的图文混合提问)
三、GSM8K 零损失:量化精度实测数据
用 vLLM + lm-eval 在相同框架、相同配置下对比,结果写在 README.md:
| 基准测试 | 原模型 DeepSeek-V4.1-Flash | 本量化模型 | 精度恢复率 |
|---|---|---|---|
| GSM8K(8-shot,flexible-extract) | 92.95 | 92.95 | 100.0% |
🎯 也就是说,把 700+ GB 的权重压成 FP8 后,数学推理能力一分不丢——这正是“关键层不量化”策略的价值。复现步骤见下一节与 evaluation/README.md。
四、MI350 一键部署:vLLM 最快配置方法
1️⃣ 准备环境
- 硬件:AMD MI355 / MI350(gfx950),4 卡起步(张量并行 TP=4)
- 软件:ROCm 7.2.0、PyTorch 2.12.0、Transformers 5.17.0、Linux
- 拉取官方镜像并克隆模型仓库:
git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8
docker pull vllm/vllm-openai-rocm:nightly-eed1f3d0c6043bd494424a22443ee198dd56f657
2️⃣ 启动 vLLM 服务(4 卡)
export HIP_VISIBLE_DEVICES=0,1,2,3
export VLLM_ROCM_USE_AITER=1
export VLLM_ROCM_USE_AITER_MOE=1
export VLLM_ROCM_USE_AITER_MHA=1
export SAFETENSORS_FAST_GPU=1
export VLLM_MOE_SKIP_PADDING=0
vllm serve amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 \
--tensor-parallel-size 4 \
--trust-remote-code \
--moe-backend aiter \
--max-model-len 8192 \
--gpu-memory-utilization 0.90 \
--port 8008
⚠️ 注意:部署需要 vLLM 打上两个官方 PR(#57760、#57071)补丁,
--moe-backend aiter是 MoE 层跑满性能的关键。
3️⃣ 复现 GSM8K 评测
新终端中执行,30 分钟即可验证 100% 精度恢复率:
lm_eval \
--model local-completions \
--tasks gsm8k \
--model_args "model=amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8,base_url=http://127.0.0.1:8008/v1/completions,num_concurrent=32,max_retries=5,timeout=1800,tokenized_requests=False,tokenizer_backend=None,max_length=8192" \
--gen_kwargs "max_gen_toks=4096" \
--num_fewshot 8 \
--output_path /tmp/gsm8k-dsv41-ptpc-fp8
五、不装 vLLM 也能玩:官方最小推理实现
仓库自带一套可读性极强的参考推理代码(inference/),覆盖视觉编码器、滑动窗口+压缩稀疏注意力、Engram n-gram 查表、MoE、Hyper-Connections 和 DSpark 前向链路,依赖见 inference/requirements.txt:
cd inference
python -m pip install -r requirements.txt
python convert.py --hf-ckpt-path /path/to/ckpt --save-path /path/to/TP8 \
--model-parallel 8 --expert-dtype fp4
INPUT_FILE=examples/example.txt ./run.sh
torchrun --nproc-per-node 8 generate.py --ckpt-path /path/to/TP8 \
--config config.json --interactive --temperature 0.6
示例输入支持“文本+图片混排”提问(inference/examples/example.txt、inference/examples/example_harmony.json),图片预处理逻辑在 inference/image_processor.py,底层 FP8/FP4 加速核函数由 tilelang 编写,位于 inference/kernel.py。想跑自检测只需 python model.py(见 inference/README.md)。
🔧 若你是对接应用的一方,encoding/ 目录提供了独立的提示词编码参考:多轮对话、工具调用(DSML 格式)、thinking 模式、推理力度预算(1–100)、中途 system 消息、图文混排都能处理,入口是 encode_messages(),测试用例在 encoding/tests/,详见 encoding/README.md。
六、仓库文件导读
| 路径 | 内容 |
|---|---|
| config.json | 模型架构 + PTPC-FP8 量化配置(excluded 层清单) |
| model.safetensors.index.json | 48 个权重分片的张量索引 |
| README.md | 量化脚本、vLLM 部署与 GSM8K 评测全流程 |
| inference/ | 参考推理实现(convert.py / generate.py / kernel.py / engram.py / vision.py) |
| encoding/ | 提示词格式编码参考(chat / thinking / 工具调用) |
| evaluation/ | 评测说明与 dsh-minimal.patch(DeepSWE 参考补丁) |
| LICENSE | MIT 许可证(与上游模型一致,免费下载商用) |
七、总结:适合谁用?
✅ 推荐:手握 MI350 / MI355 集群、想要 1M 上下文 + 多模态 + 代码/Agent 能力、又希望权重体积和显存占用减半的团队;FP8 量化精度零损失,生产可用。
✅ 不推荐:NVIDIA 显卡用户(本权重针对 gfx950 优化)、显存不足以跑 4 卡张量并行的单机环境。
下一步:按第四节命令拉起 vLLM 服务 → 用第三节复现 92.95 分 → 打开 inference/ 跑通图文混合示例,即可完整体验这套 AMD 官方 PTPC-FP8 量化方案。
