48层线性注意力+16层全注意力:Qwen3.8-27B-INT8-W8A16-MTP的GDN混合架构拆解
48层线性注意力+16层全注意力:Qwen3.8-27B-INT8-W8A16-MTP的GDN混合架构拆解
Qwen3.8-27B-INT8-W8A16-MTP 是一款面向双 RTX 3090 部署的 INT8 W8A16 量化检查点,核心亮点在于 48 层 GDN(Gated DeltaNet)线性注意力 + 16 层全注意力 的混合架构,并自带 BF16 精度的 MTP 投机解码头。这篇文章不贴长代码,只用配置参数和实测数据,把这套架构逐层拆开讲清楚。
🧩 64 层结构速览:3 快 + 1 精的排列方式
打开 config.json 中的 text_config.layer_types,可以看到 64 个语言层的类型排布非常规整:每 4 层为一组,前 3 层是线性注意力,第 4 层是全注意力,对应参数 full_attention_interval: 4。
| 层类型 | 层数 | 层编号 | 作用 |
|---|---|---|---|
| linear_attention(GDN) | 48 层 | 0–2、4–6、8–10…… | 轻量"工作层",固定显存开销 |
| full_attention | 16 层 | 3、7、11、15……63 | 精确"锚点层",负责全局检索 |
这种"3+1"节奏可以在 config.json 的 layer_types 数组中直接验证,16 个 full_attention 层编号恰好是 4 的减 1 序列。
⚡ GDN 线性注意力是什么?为什么快
普通全注意力的 KV 缓存随上下文线性膨胀;而 GDN(Gated DeltaNet)属于线性注意力 + 循环状态路线:历史信息被压缩进一个固定大小的"记忆矩阵",无论读到多长文本,每层的显存占用都基本不变。这正是它能承载 262K 原生上下文的关键。
配置中几个关键参数(均来自 config.json):
| 参数 | 值 | 含义 |
|---|---|---|
linear_num_key_heads |
16 | 线性注意力的 Key 头数 |
linear_num_value_heads |
48 | Value 头数(3:1 分组) |
linear_key_head_dim / linear_value_head_dim |
128 / 128 | 头维度 |
linear_conv_kernel_dim |
4 | 短卷积核,捕捉局部细节 |
mamba_ssm_dtype |
float32 | 循环状态用 FP32 累加,保证长文本数值稳定 |
每个 GDN 层内部还带有 A_log、dt_bias、conv1d 这类门控和衰减参数(可在 model.safetensors.index.json 中查到每张分片对应的具体张量),它们决定了"旧记忆衰减多快"——相当于给模型配了一个可调遗忘速度的笔记本。
🎯 为什么还要保留 16 层全注意力?
线性注意力省显存,但精确检索长文中的某个 token 时,纯循环状态容易"记岔"。因此每隔 3 层插入一层全注意力做全局校准:
- GQA 分组查询:
num_attention_heads: 24个 Q 头 +num_key_value_heads: 4个 KV 头,KV 缓存只有 1/6 的 Q 头量 - 细粒度 RoPE:
rope_theta: 10000000、partial_rotary_factor: 0.25(仅 1/4 维度旋转),配合mrope_interleaved多模态位置编码,原生支持 262,144 token 上下文 - 注意力输出门控:
attn_output_gate: true+output_gate_type: swish,给每层注意力输出加一道"阀门"
一句话总结:48 层 GDN 负责"低成本地读",16 层全注意力负责"关键时刻查"。
🔮 MTP 头:1 层草稿模型,让生成变快
这个检查点随附独立的 model_mtp.safetensors(约 849 MB、15 个张量),即 1 层多 Token 预测(MTP)头:
- 结构:1 层全注意力 + 1 个 MLP,外加
fc、pre_fc_norm_hidden、pre_fc_norm_embedding三个融合层 mtp_use_dedicated_embeddings: false——与主模型共享 embedding 和lm_head,不额外占显存- 保持 BF16 不量化,让"草稿模型"尽量贴近主模型,提高草稿接受率
服务时通过 vLLM 的 --speculative-config '{"method":"mtp","num_speculative_tokens":3}' 开启 3 个投机 token,README 实测草稿接受率在 42%~92% 之间浮动,整段运行均值约 65.5%。
📦 W8A16 量化设计:哪些层压、哪些层留
量化配方完整记录在 recipe.yaml 中,采用 compressed-tensors 的 pack-quantized 格式:对称 INT8、分组大小 128、激活保持 BF16(W8A16)。
| 组件 | 精度 | 原因 |
|---|---|---|
| 192 个 MLP 投影 | INT8 | 最大头的稠密 GEMM,省显存收益最高 |
| 64 个全注意力投影 | INT8 | 输出分布误差实测很低 |
144 个 GDN 稠密投影(in_proj_qkv/in_proj_z/out_proj) |
INT8 | 回收约 4 GB 显存且探针测试稳定 |
GDN 门控 in_proj_a / in_proj_b |
BF16 | 微小的循环门控,是长上下文的"保命"精度保险 |
| 视觉塔(27 层 ViT) | BF16 | 保住多模态保真度 |
lm_head、MTP 头 |
BF16 | 最终 logits 精度直接影响投机接受率 |
合计 400 个被量化的 Linear GEMM。之所以选 W8A16 而不是 FP8,是因为目标显卡 RTX 3090(Ampere sm_86)没有原生 FP8 张量核心,W8A16 走 Marlin 类权重复原 kernel 才是精度与速度的最优解。官方对比数据:平均 KLD 0.000894、Top-1 一致率 99.36%,显著优于官方 FP8 版(0.004396 / 98.53%)。
📊 双 3090 实测:31.6 GB 怎么装进 48 GB
| 指标 | 数值 |
|---|---|
| 检查点总大小 | 31.6 GB |
| 单卡加载模型 | 14.85 GiB |
| 共享 KV 池 | 266,537 tokens |
| 原生最大上下文 | 262,144 tokens |
| 单请求解码速度(1K→1K) | 58 tok/s |
| 长上下文 128K 解码 | 64.5~69.8 tok/s |
KV 缓存使用 fp8_e4m3 进一步压缩。可以看到 GDN 混合架构的红利:128K 上下文下解码速度不降反升(58 → 69.8 tok/s),因为解码瓶颈不在 KV 读取,而在投机解码命中后的并行验证。
🗂️ 仓库文件清单与查阅入口
| 文件 | 说明 |
|---|---|
| config.json | 架构总配置:64 层排布、GDN 头数、MTP 参数、量化清单 |
| recipe.yaml | llm-compressor 的 W8A16 量化配方原文 |
| model.safetensors.index.json | 1,999 个张量的分片映射表 |
| model_mtp.safetensors | 独立的 BF16 MTP 头 |
| model-00001-of-00006.safetensors ~ model-00006-of-00006.safetensors | 6 个打包权重分片(W8A16 + 保留的 BF16 张量) |
| chat_template.jinja | 上游对话与工具调用模板 |
| tokenizer.json、tokenizer_config.json | 词表与分词配置(vocab 248,320) |
| generation_config.json | 默认采样参数(top_p 0.95、top_k 20) |
| README.md | 完整部署指南、性能与保真度实测报告 |
写在最后
这套架构的精髓可以浓缩成三句话:
- GDN 打底——48 层线性注意力把显存开销从"随长度增长"变成"恒定";
- 全注意力补位——每 4 层一个锚点,保住 262K 长文本的检索精度;
- 精度各就各位——大 GEMM 压 INT8、循环门控和 MTP 头守 BF16,量化误差压到千分之一以下。
如果你的目标是在消费级双卡上跑一个带投机解码、262K 上下文的开源大模型,这个检查点的分层设计值得逐层抄作业。