NCM Next-Concept Transformer剖析:块对角注意力与逐层并行采样实现原理
NCM Next-Concept Transformer剖析:块对角注意力与逐层并行采样实现原理
NCM(Next-Concept Modeling,下一概念建模)是一个面向并行文本生成的开源两阶段框架:先用多尺度残差 VQ 分词器把文本序列压缩成由粗到细的离散码层级,再由 Next-Concept Transformer 借助块对角注意力与逐层并行采样,在几次前向传播内一次性预测出整个层级结构,生成速度比扩散基线快 9–31 倍。这篇文章用通俗的方式带你读懂它的两大核心实现。
🧩 为什么不做逐 token 生成:NCM 并行文本生成的动机
传统自回归(NTP)每步只出 1 个 token,生成长文需要 L 次前向;掩码扩散(MDLM)虽然每步覆盖全序列,但去噪步数 T 往往更多。NCM 的思路是取"中间路线":K 步,每步并行生成一段更长、更粗的"概念"(concept):
| 范式 | 步数 | 每步生成内容 |
|---|---|---|
| Next-Token Prediction | L 步 | 1 个 token |
| Masked Diffusion (MDLM) | T 步 | 全 L 个位置 |
| Next-Concept (NCM) | K 步 | 该层的 lₖ 个位置,一次并行 |
对 XSum 摘要任务(输出长 48),NCM 只需 9 个层级、约 9 次前向就完成整篇摘要。
🗂️ 两阶段架构:多尺度残差 VQ 分词器如何表示文本
阶段一:分词器(冻结)。编码器先把文本 token 映射为连续隐向量 z(长度 L),然后由 MultiscaleResidualVectorQuantizer(models/quant.py)逐层量化:
- 层级列表按长度升序排列,如 XSum 配置为
<a href="https://link.gitcode.com/i/15b37b432370aa96a62a9d1b3720f483" target="_blank">4, 6, 10, 14, 20, 26, 32, 40, 48](见 [config/eval/xsum.yaml),粗层位置少、细层位置多,最后一层恢复完整长度; - 每一层做"残差量化":把当前残差下采样到该层长度,在本层码本中找最近的码字,上采样回原长后累加进 ẑ,剩余部分留给下一层(models/quant.py);
- 效果上,粗层决定"整体骨架",细层负责"补细节",与画素描先勾轮廓再上色的过程一致。
阶段二:生成器。NextConceptTransformer(models/next_concept.py)的输入是 [前缀; 第1层块; 第2层块; …]——每层块的内容是"上一层量化结果累加后再下采样",输出则是各层码字的 logits。
上面这张动图就是逐层解码的结果:每走完一个层级,样本就从模糊草稿细化一步,最终层还原出完整文本。
🔍 块对角注意力实现原理:三条可见性规则
块对角注意力(block_diagonal,models/next_concept.py)在初始化时一次性构造好注意力掩码,规则非常简洁:
- 前缀 → 前缀:允许(左上角为 0);
- 前缀 → 目标块:禁止(
top_right置为 −inf,前缀不需要看未来); - 目标块 → 前缀:允许(
bottom_left为 0,每层都能读取上下文); - 目标块 → 目标块:仅同层互见,跨层互不可见(
target_mask = where(d == dT, 0, −inf),d 为位置所属层级编号)——这正是"块对角"名称的由来。
if attn_pattern == 'block_diagonal':
target_mask = torch.where(d == dT, 0., -torch.inf).reshape(T, T)
💡 直觉类比:画室里每位画师只盯着"参考图(前缀)"和"自己手头这张草稿",绝不打扰别人画别的层,所以所有画师可以同时动笔。
若配置 attn_pattern: block_causal,则规则放宽为 d >= dT:每一层可回看所有更粗的层,适合需要跨层信息流动的场景(XSum 官方配置使用 block_diagonal,见 config/eval/xsum.yaml)。
另外两个配套设计:
- 每块位置编码重置:启用 RoPE 时,每个目标块的相对位置都从 0 重新编号(
rope_cos_gen_k缓冲),块间不共享绝对位置; - 层级编码 wle:可选地给每个位置加上"我属于第几层"的嵌入,帮助模型区分层级。
⚡ 逐层并行采样:generate 主循环详解
核心循环在 NextConceptTransformer.generate,流程如下:
- 编码前缀得到
prefix_emb(XSum 场景下前缀是原始 token 编码后的向量); - 可选的第 0 层:
query_level0开启时用一组可学习查询向量,与 prefix 拼接后一次并行预测出最粗层码字; - 逐层循环(第 1 层 → 最后一层):
- 将上一层采样出的码字查嵌入表,上采样后累加进 ẑ,再下采样到当前层长度作为输入 x(models/quant.py 的
get_next_autoregressive_input); - 拼接
prefix + x,过完整 Transformer 堆栈,对当前层全部位置一次性并行采样(_sample_level支持 temperature、top-k、top-p,temperature=0 时退化为贪心);
- 将上一层采样出的码字查嵌入表,上采样后累加进 ẑ,再下采样到当前层长度作为输入 x(models/quant.py 的
- 拼接各层码字,经 VQ 解码器还原为文本(tokenization/vqvae_tokenizer.py)。
KV cache:前缀只计算一次
开启 use_kv_cache=True 后,前缀先单独前向一次并缓存每层的 K/V(models/next_concept.py);之后每层只把"前缀 + 当前层块"作为输入,掩码 lvl_mask 保证当前块只能看到前缀和自己。这样总前向次数 ≈ 层数 + 1,而不是"每层重算一遍前缀",是推理提速的关键。
采样与无分类器引导(CFG)
cfg_scale > 0 时,batch 会复制一份"空 prefix"分支,逐层按 logits = (1+t)·cond − t·uncond 做引导,其中 t 随层级递增——越细的层级引导越强(models/next_concept.py),评测时通过 --cfg 传参即可。
📈 质量与速度实测:到底快了多少
- LM1B:比扩散基线快约 21×,生成困惑度持平甚至更优;
- XSum 摘要:快 31×,ROUGE-L 超过多个扩散模型基线;
- Sudoku Hard:86.1% 的解题率全场最高(AR 仅 1.0%);
- 官方结论:在不同任务上追平或超越强扩散基线的同时,提速 9–31 倍。
🚀 快速上手:本地运行 NCM 官方评测
环境要求 Python 3.10+ 与 CUDA 版 PyTorch:
git clone https://gitcode.com/gh_mirrors/ncm4/ncm
cd ncm
pip install -r requirements.txt
下载官方 checkpoints 与评测数据后,一条命令即可完成评测:
python evaluate.py --config config/eval/xsum.yaml --checkpoint-dir artifacts/xsum --data-dir data/xsum
evaluate.py 会为每张可见 GPU 启动一个生成分片(scripts/eval_shard.py),结束后自动合并并打分(scripts/eval_merge.py),输出 ROUGE / sacreBLEU / 解题率等指标。config/eval/ 目录下的每个 yaml 与对应发布 checkpoint 一一对应(如 sudoku-hard.yaml、lm1b-large.yaml)。
总结
- NCM 用多尺度残差 VQ 分词器把文本变成"由粗到细"的离散码层级,把生成长度问题转化为层级问题;
- 块对角注意力让每个层级互不干扰、只看前缀,从而每层位置可以完全并行;
- 逐层并行采样 + KV cache 使生成只需约 K 次前向,配合 CFG 与 top-k/top-p 采样,在摘要、翻译、数独等任务上实现 9–31 倍提速且质量不降。
想深入源码,建议按 models/vqvae.py → models/quant.py → models/next_concept.py 的顺序阅读。


