NCM Next-Concept Transformer剖析:块对角注意力与逐层并行采样实现原理

原创2026-10-25 21:31:141,846 阅读

NCM Next-Concept Transformer剖析:块对角注意力与逐层并行采样实现原理

NCM(Next-Concept Modeling,下一概念建模)是一个面向并行文本生成的开源两阶段框架:先用多尺度残差 VQ 分词器把文本序列压缩成由粗到细的离散码层级,再由 Next-Concept Transformer 借助块对角注意力与逐层并行采样,在几次前向传播内一次性预测出整个层级结构,生成速度比扩散基线快 9–31 倍。这篇文章用通俗的方式带你读懂它的两大核心实现。

NCM并行文本生成原理:Next-Concept粗到细生成与逐token预测、扩散模型的对比

🧩 为什么不做逐 token 生成:NCM 并行文本生成的动机

传统自回归(NTP)每步只出 1 个 token,生成长文需要 L 次前向;掩码扩散(MDLM)虽然每步覆盖全序列,但去噪步数 T 往往更多。NCM 的思路是取"中间路线":K 步,每步并行生成一段更长、更粗的"概念"(concept):

范式 步数 每步生成内容
Next-Token Prediction L 步 1 个 token
Masked Diffusion (MDLM) T 步 全 L 个位置
Next-Concept (NCM) K 步 该层的 lₖ 个位置,一次并行

对 XSum 摘要任务(输出长 48),NCM 只需 9 个层级、约 9 次前向就完成整篇摘要。

🗂️ 两阶段架构:多尺度残差 VQ 分词器如何表示文本

阶段一:分词器(冻结)。编码器先把文本 token 映射为连续隐向量 z(长度 L),然后由 MultiscaleResidualVectorQuantizer(models/quant.py)逐层量化:

  • 层级列表按长度升序排列,如 XSum 配置为 <a href="https://link.gitcode.com/i/15b37b432370aa96a62a9d1b3720f483" target="_blank">4, 6, 10, 14, 20, 26, 32, 40, 48](见 [config/eval/xsum.yaml),粗层位置少、细层位置多,最后一层恢复完整长度;
  • 每一层做"残差量化":把当前残差下采样到该层长度,在本层码本中找最近的码字,上采样回原长后累加进 ẑ,剩余部分留给下一层(models/quant.py);
  • 效果上,粗层决定"整体骨架",细层负责"补细节",与画素描先勾轮廓再上色的过程一致。

阶段二:生成器。NextConceptTransformer(models/next_concept.py)的输入是 [前缀; 第1层块; 第2层块; …]——每层块的内容是"上一层量化结果累加后再下采样",输出则是各层码字的 logits。

NCM逐层并行采样效果:TinyStories、XSum、WMT14样本随层级由粗到细逐步细化

上面这张动图就是逐层解码的结果:每走完一个层级,样本就从模糊草稿细化一步,最终层还原出完整文本。

🔍 块对角注意力实现原理:三条可见性规则

块对角注意力(block_diagonal,models/next_concept.py)在初始化时一次性构造好注意力掩码,规则非常简洁:

  1. 前缀 → 前缀:允许(左上角为 0);
  2. 前缀 → 目标块:禁止(top_right 置为 −inf,前缀不需要看未来);
  3. 目标块 → 前缀:允许(bottom_left 为 0,每层都能读取上下文);
  4. 目标块 → 目标块:仅同层互见,跨层互不可见(target_mask = where(d == dT, 0, −inf),d 为位置所属层级编号)——这正是"块对角"名称的由来。
if attn_pattern == 'block_diagonal':
    target_mask = torch.where(d == dT, 0., -torch.inf).reshape(T, T)

💡 直觉类比:画室里每位画师只盯着"参考图(前缀)"和"自己手头这张草稿",绝不打扰别人画别的层,所以所有画师可以同时动笔。

若配置 attn_pattern: block_causal,则规则放宽为 d >= dT:每一层可回看所有更粗的层,适合需要跨层信息流动的场景(XSum 官方配置使用 block_diagonal,见 config/eval/xsum.yaml)。

另外两个配套设计:

  • 每块位置编码重置:启用 RoPE 时,每个目标块的相对位置都从 0 重新编号(rope_cos_gen_k 缓冲),块间不共享绝对位置;
  • 层级编码 wle:可选地给每个位置加上"我属于第几层"的嵌入,帮助模型区分层级。

⚡ 逐层并行采样:generate 主循环详解

核心循环在 NextConceptTransformer.generate,流程如下:

  1. 编码前缀得到 prefix_emb(XSum 场景下前缀是原始 token 编码后的向量);
  2. 可选的第 0 层:query_level0 开启时用一组可学习查询向量,与 prefix 拼接后一次并行预测出最粗层码字;
  3. 逐层循环(第 1 层 → 最后一层):
    • 将上一层采样出的码字查嵌入表,上采样后累加进 ẑ,再下采样到当前层长度作为输入 x(models/quant.py 的 get_next_autoregressive_input);
    • 拼接 prefix + x,过完整 Transformer 堆栈,对当前层全部位置一次性并行采样(_sample_level 支持 temperature、top-k、top-p,temperature=0 时退化为贪心);
  4. 拼接各层码字,经 VQ 解码器还原为文本(tokenization/vqvae_tokenizer.py)。

KV cache:前缀只计算一次

开启 use_kv_cache=True 后,前缀先单独前向一次并缓存每层的 K/V(models/next_concept.py);之后每层只把"前缀 + 当前层块"作为输入,掩码 lvl_mask 保证当前块只能看到前缀和自己。这样总前向次数 ≈ 层数 + 1,而不是"每层重算一遍前缀",是推理提速的关键。

采样与无分类器引导(CFG)

cfg_scale > 0 时,batch 会复制一份"空 prefix"分支,逐层按 logits = (1+t)·cond − t·uncond 做引导,其中 t 随层级递增——越细的层级引导越强(models/next_concept.py),评测时通过 --cfg 传参即可。

📈 质量与速度实测:到底快了多少

NCM并行生成质量与速度对比:LM1B快21倍、XSum快31倍,Sudoku Hard解题率86.1%领先

  • LM1B:比扩散基线快约 21×,生成困惑度持平甚至更优;
  • XSum 摘要:快 31×,ROUGE-L 超过多个扩散模型基线;
  • Sudoku Hard:86.1% 的解题率全场最高(AR 仅 1.0%);
  • 官方结论:在不同任务上追平或超越强扩散基线的同时,提速 9–31 倍。

🚀 快速上手:本地运行 NCM 官方评测

环境要求 Python 3.10+ 与 CUDA 版 PyTorch:

git clone https://gitcode.com/gh_mirrors/ncm4/ncm
cd ncm
pip install -r requirements.txt

下载官方 checkpoints 与评测数据后,一条命令即可完成评测:

python evaluate.py --config config/eval/xsum.yaml --checkpoint-dir artifacts/xsum --data-dir data/xsum

evaluate.py 会为每张可见 GPU 启动一个生成分片(scripts/eval_shard.py),结束后自动合并并打分(scripts/eval_merge.py),输出 ROUGE / sacreBLEU / 解题率等指标。config/eval/ 目录下的每个 yaml 与对应发布 checkpoint 一一对应(如 sudoku-hard.yaml、lm1b-large.yaml)。

总结

  • NCM 用多尺度残差 VQ 分词器把文本变成"由粗到细"的离散码层级,把生成长度问题转化为层级问题;
  • 块对角注意力让每个层级互不干扰、只看前缀,从而每层位置可以完全并行;
  • 逐层并行采样 + KV cache 使生成只需约 K 次前向,配合 CFG 与 top-k/top-p 采样,在摘要、翻译、数独等任务上实现 9–31 倍提速且质量不降。

想深入源码,建议按 models/vqvae.py → models/quant.py → models/next_concept.py 的顺序阅读。

登录后查看全文
ncm