Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p:昇腾310P上的无审查MoE大模型,一文看懂它能做什么

原创2026-10-27 16:41:322,485 阅读
文章标签:人工智能大模型模型量化本地部署Ascend

Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p:昇腾310P上的无审查MoE大模型,一文看懂它能做什么

Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p 是一款专为昇腾 310P 优化的无审查 W8A8 量化 MoE 大模型:基于 Qwen3.6-35B-A3B 的 abliterated 权重量化压缩而成,可在 vLLM-Ascend 上以 40 tokens/s 的速度推理,支持 28K 上下文,总参数 35B、激活参数仅 3B。本文带你一文看懂它能做什么、如何部署与验证。

🧩 先看懂 4 个关键词,秒懂模型定位

关键词 含义
MoE(混合专家) 35B 总参数中每次仅激活 3B(256 个专家中每 token 选 8 个),推理成本接近小模型
abliterated(无审查) 通过去对齐技术移除安全审查,回答更直接、少拒答,需使用者自行遵守合规要求
W8A8 量化 权重与激活均为 INT8,静态校准,由 msmodelslim 26.1.0 完成
310P 优化 昇腾 310P 没有 BF16/FP8 硬件单元,INT8(140 TOPS)是其算力上限,本模型正是按这个上限打造

一句话总结:在国产 NPU 310P 上,用一个"小激活、无审查、带推理"的 MoE 模型,跑出 40 tokens/s 的实用速度。

⚙️ 硬件与测试环境:双卡四芯怎么跑 35B

项目 值
CPU 鲲鹏 920(Kunpeng 920)
NPU 昇腾 310P 双卡四芯(张量并行 TP=4)
单卡显存 44GB HBM
推理框架 vLLM-Ascend(vllm 0.24.0 / vllm_ascend 0.19.1rc2 / torch 2.10.0)
驱动 CANN 9.1.0(容器内置)
操作系统 openEuler 24.03 LTS

模型架构为 Qwen3.5-MoE(qwen3_5_moe),完整参数见 config.json:40 层隐藏层、256 个专家、每 token 激活 8 个、词表 248320,并带有视觉配置——本仓库通过 language_model_only 标志只加载语言模型部分。

📥 如何获取模型权重文件

模型权重约 38GB,用 git 拉取即可:

git clone https://gitcode.com/dbe/Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p

拉取完成后,将模型目录挂载到容器的 /models 路径即可供 vLLM 加载。

🚀 如何一键部署:vLLM-Ascend 启动命令

⚠️ 镜像 quay.io/ascend/vllm-ascend:nightly-main-310p 是打过补丁的本地版本,官方仓库拉不到原版。补丁包括:

  1. KV cache 减半补丁:让单卡 44GB 显存装得下 28K 上下文;
  2. max_tokens 边界放行补丁:修复长上下文下必然触发的 maximum context length 400 报错。

使用官方原版镜像时,28K 上下文可能 OOM 或无法加载。

启动命令如下:

docker run -d --name qwen36-abliterated \
  --privileged \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64:/usr/local/Ascend/driver/lib64 \
  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
  -v /path/to/model:/models \
  -e ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 \
  -p 8000:8000 \
  quay.io/ascend/vllm-ascend:nightly-main-310p \
  vllm serve /models/Huihui-Qwen3.6-35B-A3B-abliterated-w8a8 \
    --dtype float16 \
    --tensor-parallel-size 4 \
    --max-num-seqs 4 \
    --quantization ascend \
    --max-model-len 28672 \
    --gpu-memory-utilization 0.90 \
    --no-enforce-eager \
    --reasoning-parser qwen3 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --additional-config '{"ascend_compilation_config": {"fuse_norm_quant": false, "enable_npu_graph_ex": false}}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1, 4]}' \
    --no-enable-prefix-caching \
    --trust-remote-code

最容易踩坑的 4 个参数(新手重点看这里):

参数 作用
--no-enforce-eager 开启 graph 编译模式,速度从约 5 tok/s 提升到 40 tok/s,最关键
--reasoning-parser qwen3 把思考内容分离到 reasoning 字段,content 只返回正式回答
--quantization ascend 加载 Ascend ModelSlim 的 W8A8 权重
--max-model-len 28672 28K 上下文(依赖镜像内 KV cache 补丁)

另外,--privileged 与 5 个 -v 驱动挂载在 310P 上缺一不可,否则容器内看不到 /dev/davinci* 设备。

✅ 如何验证模型跑通了:3 条 curl 命令

# 1. 查看模型是否加载成功
curl http://localhost:8000/v1/models

# 2. 简单对话(思考在 reasoning 字段,回答在 content 字段)
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Huihui-Qwen3.6-35B-A3B-abliterated-w8a8","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'

# 3. 流式输出
curl -N http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Huihui-Qwen3.6-35B-A3B-abliterated-w8a8","messages":[{"role":"user","content":"介绍一下你自己"}],"max_tokens":200,"stream":true}'

🔁 如何复现 W8A8 量化(进阶)

如果你有原始 bf16 权重,可以用 msmodelslim 复现同样的量化:

msmodelslim quant \
  --model_path /path/to/Huihui-Qwen3.6-35B-A3B-abliterated \
  --save_path /path/to/Huihui-Qwen3.6-35B-A3B-abliterated-w8a8 \
  --model_type Qwen3.5-35B-A3B \
  --quant_type w8a8 \
  --trust_remote_code True

量化完成后,需在 config.json 中加一行 "language_model_only": true,让加载器跳过视觉部分、仅加载语言模型。量化策略可参考仓库自带的最佳实践配置 Qwen3.5-35B-A3B_best_practice.yaml:激活 per_token INT8、权重 per_channel INT8,均采用对称 minmax 校准。

📦 文件清单:38GB 权重由哪些文件组成

仓库共约 38GB,拆成 10 个 safetensors 分片,文件清单见 README.md:

文件 说明
quant_model_weights-00001-of-00010.safetensors ~ 00010 W8A8 量化权重(约 4GB × 10)
quant_model_weights.safetensors.index.json 权重索引,加载时按此定位分片
quant_model_description.json 量化描述(每层 W8A8 参数,8.4MB)
config.json 模型配置(含 language_model_only)
generation_config.json 生成参数(temperature 1.0、top_k 20、top_p 0.95)
tokenizer.json / tokenizer_config.json 分词器与特殊 token
chat_template.jinja 对话模板(含思考与工具调用格式)
configuration.json 框架/任务标识(Pytorch / visual-question-answering)
preprocessor_config.json / video_preprocessor_config.json 视觉/视频处理器配置

⚠️ 上手前必知的 5 个注意事项

  1. 为什么是 W8A8:310P 无 BF16/FP8 硬件单元,INT8 就是它的最高算力路径,换别的量化格式没有意义;
  2. 合规使用:该模型为 abliterated(无审查)版本,请遵守当地法律法规与使用场景约束,输出责任由使用者自行承担;
  3. 镜像补丁:上文两个补丁只能基于源码自行应用,官方原版镜像跑 28K 上下文可能 OOM 或无法加载;
  4. 上下文上限:28K 是当前硬件的稳定上限,32K+ 会 OOM;追求更高速度可改为 --max-model-len 24576(约 45 tok/s);
  5. 推理模式:Qwen3.6-35B-A3B 默认开启推理,配合 --reasoning-parser qwen3 后,思考与回答分字段返回,方便前端分别展示。

📌 总结

Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p 证明了国产 NPU 上也能跑"大而不慢"的 MoE 模型:35B 总参数、3B 激活、W8A8 量化后仅 38GB,在双卡四芯 310P 上稳定输出 40 tokens/s、28K 上下文,还支持工具调用。如果你的硬件是昇腾 310P,且需要一个带推理能力、低拒答的本地大模型,它目前是一个相当完整的开箱方案。

登录后查看全文
Huihui-Qwen3.6-35B-A3B-abliterated-w8a8-310p