Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p:昇腾310P上的无审查MoE大模型,一文看懂它能做什么
Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p:昇腾310P上的无审查MoE大模型,一文看懂它能做什么
Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p 是一款专为昇腾 310P 优化的无审查 W8A8 量化 MoE 大模型:基于 Qwen3.6-35B-A3B 的 abliterated 权重量化压缩而成,可在 vLLM-Ascend 上以 40 tokens/s 的速度推理,支持 28K 上下文,总参数 35B、激活参数仅 3B。本文带你一文看懂它能做什么、如何部署与验证。
🧩 先看懂 4 个关键词,秒懂模型定位
| 关键词 | 含义 |
|---|---|
| MoE(混合专家) | 35B 总参数中每次仅激活 3B(256 个专家中每 token 选 8 个),推理成本接近小模型 |
| abliterated(无审查) | 通过去对齐技术移除安全审查,回答更直接、少拒答,需使用者自行遵守合规要求 |
| W8A8 量化 | 权重与激活均为 INT8,静态校准,由 msmodelslim 26.1.0 完成 |
| 310P 优化 | 昇腾 310P 没有 BF16/FP8 硬件单元,INT8(140 TOPS)是其算力上限,本模型正是按这个上限打造 |
一句话总结:在国产 NPU 310P 上,用一个"小激活、无审查、带推理"的 MoE 模型,跑出 40 tokens/s 的实用速度。
⚙️ 硬件与测试环境:双卡四芯怎么跑 35B
| 项目 | 值 |
|---|---|
| CPU | 鲲鹏 920(Kunpeng 920) |
| NPU | 昇腾 310P 双卡四芯(张量并行 TP=4) |
| 单卡显存 | 44GB HBM |
| 推理框架 | vLLM-Ascend(vllm 0.24.0 / vllm_ascend 0.19.1rc2 / torch 2.10.0) |
| 驱动 | CANN 9.1.0(容器内置) |
| 操作系统 | openEuler 24.03 LTS |
模型架构为 Qwen3.5-MoE(qwen3_5_moe),完整参数见 config.json:40 层隐藏层、256 个专家、每 token 激活 8 个、词表 248320,并带有视觉配置——本仓库通过 language_model_only 标志只加载语言模型部分。
📥 如何获取模型权重文件
模型权重约 38GB,用 git 拉取即可:
git clone https://gitcode.com/dbe/Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p
拉取完成后,将模型目录挂载到容器的 /models 路径即可供 vLLM 加载。
🚀 如何一键部署:vLLM-Ascend 启动命令
⚠️ 镜像
quay.io/ascend/vllm-ascend:nightly-main-310p是打过补丁的本地版本,官方仓库拉不到原版。补丁包括:
- KV cache 减半补丁:让单卡 44GB 显存装得下 28K 上下文;
- max_tokens 边界放行补丁:修复长上下文下必然触发的
maximum context length400 报错。使用官方原版镜像时,28K 上下文可能 OOM 或无法加载。
启动命令如下:
docker run -d --name qwen36-abliterated \
--privileged \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64:/usr/local/Ascend/driver/lib64 \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /path/to/model:/models \
-e ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 \
-p 8000:8000 \
quay.io/ascend/vllm-ascend:nightly-main-310p \
vllm serve /models/Huihui-Qwen3.6-35B-A3B-abliterated-w8a8 \
--dtype float16 \
--tensor-parallel-size 4 \
--max-num-seqs 4 \
--quantization ascend \
--max-model-len 28672 \
--gpu-memory-utilization 0.90 \
--no-enforce-eager \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--additional-config '{"ascend_compilation_config": {"fuse_norm_quant": false, "enable_npu_graph_ex": false}}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1, 4]}' \
--no-enable-prefix-caching \
--trust-remote-code
最容易踩坑的 4 个参数(新手重点看这里):
| 参数 | 作用 |
|---|---|
--no-enforce-eager |
开启 graph 编译模式,速度从约 5 tok/s 提升到 40 tok/s,最关键 |
--reasoning-parser qwen3 |
把思考内容分离到 reasoning 字段,content 只返回正式回答 |
--quantization ascend |
加载 Ascend ModelSlim 的 W8A8 权重 |
--max-model-len 28672 |
28K 上下文(依赖镜像内 KV cache 补丁) |
另外,--privileged 与 5 个 -v 驱动挂载在 310P 上缺一不可,否则容器内看不到 /dev/davinci* 设备。
✅ 如何验证模型跑通了:3 条 curl 命令
# 1. 查看模型是否加载成功
curl http://localhost:8000/v1/models
# 2. 简单对话(思考在 reasoning 字段,回答在 content 字段)
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"Huihui-Qwen3.6-35B-A3B-abliterated-w8a8","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'
# 3. 流式输出
curl -N http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"Huihui-Qwen3.6-35B-A3B-abliterated-w8a8","messages":[{"role":"user","content":"介绍一下你自己"}],"max_tokens":200,"stream":true}'
🔁 如何复现 W8A8 量化(进阶)
如果你有原始 bf16 权重,可以用 msmodelslim 复现同样的量化:
msmodelslim quant \
--model_path /path/to/Huihui-Qwen3.6-35B-A3B-abliterated \
--save_path /path/to/Huihui-Qwen3.6-35B-A3B-abliterated-w8a8 \
--model_type Qwen3.5-35B-A3B \
--quant_type w8a8 \
--trust_remote_code True
量化完成后,需在 config.json 中加一行 "language_model_only": true,让加载器跳过视觉部分、仅加载语言模型。量化策略可参考仓库自带的最佳实践配置 Qwen3.5-35B-A3B_best_practice.yaml:激活 per_token INT8、权重 per_channel INT8,均采用对称 minmax 校准。
📦 文件清单:38GB 权重由哪些文件组成
仓库共约 38GB,拆成 10 个 safetensors 分片,文件清单见 README.md:
| 文件 | 说明 |
|---|---|
| quant_model_weights-00001-of-00010.safetensors ~ 00010 | W8A8 量化权重(约 4GB × 10) |
| quant_model_weights.safetensors.index.json | 权重索引,加载时按此定位分片 |
| quant_model_description.json | 量化描述(每层 W8A8 参数,8.4MB) |
| config.json | 模型配置(含 language_model_only) |
| generation_config.json | 生成参数(temperature 1.0、top_k 20、top_p 0.95) |
| tokenizer.json / tokenizer_config.json | 分词器与特殊 token |
| chat_template.jinja | 对话模板(含思考与工具调用格式) |
| configuration.json | 框架/任务标识(Pytorch / visual-question-answering) |
| preprocessor_config.json / video_preprocessor_config.json | 视觉/视频处理器配置 |
⚠️ 上手前必知的 5 个注意事项
- 为什么是 W8A8:310P 无 BF16/FP8 硬件单元,INT8 就是它的最高算力路径,换别的量化格式没有意义;
- 合规使用:该模型为 abliterated(无审查)版本,请遵守当地法律法规与使用场景约束,输出责任由使用者自行承担;
- 镜像补丁:上文两个补丁只能基于源码自行应用,官方原版镜像跑 28K 上下文可能 OOM 或无法加载;
- 上下文上限:28K 是当前硬件的稳定上限,32K+ 会 OOM;追求更高速度可改为
--max-model-len 24576(约 45 tok/s); - 推理模式:Qwen3.6-35B-A3B 默认开启推理,配合
--reasoning-parser qwen3后,思考与回答分字段返回,方便前端分别展示。
📌 总结
Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p 证明了国产 NPU 上也能跑"大而不慢"的 MoE 模型:35B 总参数、3B 激活、W8A8 量化后仅 38GB,在双卡四芯 310P 上稳定输出 40 tokens/s、28K 上下文,还支持工具调用。如果你的硬件是昇腾 310P,且需要一个带推理能力、低拒答的本地大模型,它目前是一个相当完整的开箱方案。