Qwen3.8-2.4T-A95B-NVFP4实力如何?GSM8K 97.73%、AIME 100% pass@16、SWE-bench 70.6%四大基准完整解读
Qwen3.8-2.4T-A95B-NVFP4实力如何?GSM8K 97.73%、AIME 100% pass@16、SWE-bench 70.6%四大基准完整解读
🔥 Qwen3.8-2.4T-A95B-NVFP4 是 Qwen3.8-2.4T-A95B 混合专家(MoE)大模型的 NVFP4 量化版本:2.4T 总参数、95B 激活参数,由 RadixArk 使用 NVIDIA Model Optimizer 完成 experts-only 量化,面向 SGLang + NVIDIA Blackwell(B300)部署。官方实测 GSM8K 97.73%、AIME 2026 100% pass@16、SWE-bench Verified 70.6%、Terminal-Bench 2.1 87.64%,四大基准表现堪称"满血"级别。本文带你完整读懂这份成绩单背后的含义。
一、这个量化版模型到底是什么?
一句话概括:它不是新模型,而是"原版大模型 + 专家层 4-bit 量化"。
| 关键属性 | 说明 |
|---|---|
| 架构 | Transformers MoE(混合专家) |
| 参数规模 | 2.4T 总参数 / 95B 激活参数 |
| 层数与专家 | 92 层,每层 512 个路由专家,每 token 激活 10 个 |
| 上下文 | 原生支持 262,144 tokens |
| 量化方式 | NVFP4(E2M1 权重 + 动态 E2M1 激活,group size 16) |
| 部署引擎 | SGLang(8×B300 TP8 推荐配置) |
量化只动了路由专家(routed experts)里的线性算子——即模型中占体积大头的那部分;注意力层、路由门控、Embedding、LM Head 等全部保持原有精度。这也是为什么量化后基准分数几乎不缩水的关键。详见 CONVERSION.md 中的完整张量契约,量化配置清单见 hf_quant_config.json 与 config.json。
💡 通俗理解:相当于只把"仓库里最占地方、对精度不敏感的部分"压缩成 4-bit,"大脑核心"原样保留,体积变小、分数不降。
二、四大基准逐项解读:分数到底意味着什么?
| 基准 | 评测协议 | 得分 |
|---|---|---|
| GSM8K | 完整 1,319 题,zero-shot,sgl-eval | 97.73% |
| AIME 2026 | 30 题 × 16 次采样(共 480 次生成) | 98.75% pass@1;100% pass@16 |
| SWE-bench Verified | 500 个实例,Agentic 评测、步数无上限 | 70.6% pass@1(353/500) |
| Terminal-Bench 2.1 | 89 个任务,Claude Code agent | 87.64% pass@1(78/89) |
1️⃣ GSM8K 97.73%:小学数学,几乎全对
GSM8K 是小学数学应用题数据集。97.73% 意味着 1,319 道题只错了约 30 道。对生产环境来说,这个数字说明模型的基础推理和数学可靠性极高,可以放心用于客服问答、知识型 Agent 等场景。
2️⃣ AIME 2026:100% pass@16 是怎么做到的?
AIME 是美籍数学邀请赛真题,属于高难度竞赛数学。两个指标要分开看:
- pass@1 = 98.75%:每题只作答 1 次,30 题里只错 1 题,单次作答就很稳;
- pass@16 = 100%:每题独立采样 16 次(共 480 次生成),只要 16 次里命中 1 次就算通过——30 道题全部至少答对一次。
这说明模型的数学能力上限被摸得很满,多采样策略几乎不可能"翻车"。🎯
3️⃣ SWE-bench Verified 70.6%:真刀真枪改代码
SWE-bench 不是选择题,而是给模型真实 GitHub 仓库的 Issue,让它自主读代码、改代码、提交补丁,再用官方测试集打分。70.6%(353/500)在 Agentic 编程模型里属于第一梯队水平,意味着它可以作为一个能独立解决真实工程问题的"AI 工程师"。
4️⃣ Terminal-Bench 2.1 87.64%:命令行操作几乎满分
89 个终端任务完成 78 个(评测时禁用了 Claude Code 的多模态请求)。这项能力对运维自动化、DevOps Agent 非常关键——模型会实际操作 shell 完成任务,而不是纸上谈兵。
✅ 四个基准组合起来的画像:数学推理接近满分 + 工程实战第一梯队,这正是 AI Agent 系统最需要的能力组合。
三、NVFP4 量化怎么做的?体积省了多少?
按 CONVERSION.md 的披露,这次转换有几个值得注意的工程细节:
- 只量化路由专家:原始 184 个 BF16 融合专家张量被替换为 565,248 个 per-expert NVFP4 张量,其余 1,425 个张量(含 19 个 MTP 张量)逐字节保持不变;
- 可复现:使用确定性合成 token 校准(固定种子 1234 系列),每个文件分片都带身份标记和 SHA256 校验,任何字段不匹配就拒绝复用;
- 完整校验:发布前要求张量全覆盖、shape/dtype 精确匹配、SGLang 加载冒烟测试通过、任务级精度评测达标。
从仓库文件结构也能直观看到这套方案:每层 512 个专家被切成 4 段(0-127、128-255、256-383、384-511),对应 92 层 × 4 段 = 368 个专家分片,如 layer-00000-experts-0000-0127.safetensors;其余 BF16 部分则放在 model-bf16-00001.safetensors 等 12 个大分片中,全部张量到文件的映射在 model.safetensors.index.json 里可查。
四、如何部署?一条命令拉起服务
官方推荐的单节点 8×B300(TP8)SGLang 启动方式(完整参数见 README.md 的 Usage 一节):
sglang serve \
--trust-remote-code \
--model-path RadixArk/Qwen3.8-2.4T-A95B-NVFP4 \
--tp-size 8 \
--context-length 200000 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--host 0.0.0.0 --port 30000
几个使用要点,⚠️ 务必注意:
- 硬件要求:本检查点在 NVIDIA Blackwell(B300 SXM6)上产出并验证,依赖 FP4 硬件加速,普通显卡请谨慎;
- 必须开启思考模式:该模型是纯文本、仅支持 thinking 模式,
enable_thinking=false不可用; - 推荐采样参数:
temperature=1.0、top_k=20、top_p=0.95(与 generation_config.json 一致),多模态输入不支持; - 对话模板见 chat_template.jinja,词表见 vocab.json / tokenizer.json。
五、适合谁用?使用场景与局限
典型场景(来自模型卡 README.md):
- 🤖 AI Agent 系统与多步任务编排
- 💬 高可靠性聊天机器人 / RAG 检索增强系统
- 🛠️ 软件工程 Copilot(SWE-bench 70.6% 支撑)
- 📈 长上下文处理(原生 262K tokens)
局限性提醒:基座模型训练语料来自互联网,可能放大社会偏见、在诱导性提示下产生不当内容;生成结果可能出现不准确或冗余信息。商用前建议按 LICENSE(Qwen3.8-Max 许可)评估合规性,并做内部安全测试。
六、总结:这份成绩单值不值得你下载?
| 维度 | 结论 |
|---|---|
| 数学推理 | ✅ GSM8K 97.73% + AIME 100% pass@16,接近满分 |
| 工程实战 | ✅ SWE-bench 70.6%,第一梯队 Agentic 能力 |
| 终端操作 | ✅ 87.64%,运维/自动化 Agent 的好底子 |
| 部署门槛 | ⚠️ 需要 Blackwell 硬件 + SGLang,必须开思考模式 |
如果你正好有 B300 级别的 Blackwell 集群,又想要一个开箱即用、数学和编程都拉满的大模型检查点,Qwen3.8-2.4T-A95B-NVFP4 是目前少见的"精度几乎无损 + 显存大幅压缩"的选择。可以先从 README.md 的部署命令跑通服务,再结合 CONVERSION.md 了解量化细节,按自己的场景调优采样参数即可。