NCM评测实战:如何用一条命令跑通ROUGE、sacreBLEU与生成困惑度6大基准

原创2026-10-25 09:20:241,326 阅读

NCM评测实战:如何用一条命令跑通ROUGE、sacreBLEU与生成困惑度6大基准

NCM 评测怎么跑?NCM(Next-Concept Modeling,下一概念建模)是一个两阶段并行文本生成框架,官方仓库提供了一套一键基准脚本——用一条 evaluate.py 命令,即可跑通 XSum 摘要(ROUGE)、WMT14 翻译(sacreBLEU)、数独推理、TinyStories/OpenWebText 文本生成与 LM1B 语言建模(生成困惑度)共 6 大基准,多卡分片、合并、打分全自动完成。本文带你从环境搭建到结果解读,一次掌握完整流程。

什么是 NCM:几步就能出文本的并行生成框架

传统自回归模型必须逐 token 预测,而 NCM 用多尺度残差 VQ 词元化器把序列表示成层级化的离散码,再由 Transformer 在每一层内部并行预测,从粗到细逐级细化,整个生成只需每层一次前向计算。

NCM 下一概念建模并行生成原理示意图,对比自回归与扩散文本生成

上图中可以看到:NCM 只需 K 步前向计算就能完成整个生成——第 1 层输出最粗的码,层级越深码越精细,最终解码得到完整文本。下面是 NCM 在 TinyStories、XSum、WMT14 三个任务上逐层细化的真实演示:

NCM 从粗到细并行文本生成动画,样本逐级从粗糙草稿细化为完整文本

评测体系速览:6大基准任务与指标对照表

NCM 的评测体系覆盖 6 类基准任务,每份配置文件中的 eval.metric 字段会自动决定使用哪套打分逻辑:

基准任务 数据规模 核心指标 配置文件
XSum 极端摘要 11,334 篇 ROUGE-1/2/L + 生成困惑度 config/eval/xsum.yaml
WMT14 德英翻译 3,003 篇 sacreBLEU(区分/不区分大小写)+ chrF + 长度比 config/eval/wmt14.yaml
数独推理(easy/medium/hard) 每档 2,000 盘 全盘解出率 / 单元格正确率 / 合法网格率 config/eval/sudoku-hard.yaml
TinyStories 故事生成 256 样本 × 5 个 seed GPT-2 large 生成困惑度 + 一元熵 config/eval/tinystories.yaml
OpenWebText(OWT) 256 样本 × 5 个 seed GPT-2 large 生成困惑度 config/eval/owt.yaml
LM1B(small/medium/large) 256 样本 × 5 个 seed FLM 协议生成困惑度 config/eval/lm1b-small.yaml

一个贴心的设计:配置文件与随发布检查点分发的 config.yaml 完全一致,无需手动调参即可复现官方基准结果。

环境搭建完整步骤:克隆、安装、下载权重三步走

第 1 步:克隆仓库

git clone https://gitcode.com/gh_mirrors/ncm4/ncm
cd ncm

第 2 步:安装依赖

根目录的 requirements.txt 列出了全部依赖(torch、transformers、rouge_score、sacrebleu、huggingface_hub 等),需要 Python 3.10 及以上,推荐安装支持 CUDA 的 PyTorch:

pip install -r requirements.txt

第 3 步:下载检查点与评测数据

hf download hazyresearch/ncm-checkpoints --local-dir artifacts
hf download hazyresearch/ncm-datasets --repo-type dataset --local-dir data

一条命令评测:evaluate.py 多卡跑基准的正确打开方式

环境就绪后,评测的核心就是一条命令。以 XSum 摘要为例:

python evaluate.py --config config/eval/xsum.yaml --checkpoint-dir artifacts/xsum --data-dir data/xsum

对于无条件生成任务则不需要 --data-dir,例如 LM1B small:

python evaluate.py --config config/eval/lm1b-small.yaml --checkpoint-dir artifacts/lm1b/small

evaluate.py 入口脚本会自动完成三件事:

  1. 分片生成:为每张可见 GPU 各起一个 scripts/eval_shard.py 进程,每个分片独立写出生成结果 shard_k.pkl;
  2. 合并:全部分片结束后,由 scripts/eval_merge.py 合并、按输入序号排序;
  3. 打分:按配置调用对应指标(rouge / bleu / exact / genppl / genppl_flm),直接打印汇总表格。

常用参数速查:

参数 作用 默认值
--config 评测配置文件路径 必填
--checkpoint-dir 存放 generator.pt / tokenizer.pt 的目录 必填
--data-dir 测试数据目录(无条件任务无需提供) 空
--out 结果输出目录 eval/<task>
--gpus 指定 GPU 编号,逗号分隔 全部可见 GPU
--n 只评测前 n 条输入,适合快速验证 0(全部)
--cfg 无分类器引导(CFG)强度,XSum/WMT14 可用 0.0

例如复现论文中带引导的 WMT14 结果,只需加上 --cfg 1.0:

python evaluate.py --config config/eval/wmt14.yaml --checkpoint-dir artifacts/wmt14 --data-dir data/wmt14 --cfg 1.0

结果怎么读:ROUGE、sacreBLEU 与生成困惑度逐项说明

运行结束后终端会打印汇总表格,各列含义如下:

  • XSum(ROUGE):R-1 / R-2 / R-L 为三种 ROUGE 变体的 F 分数;genPPL 是生成摘要在 GPT-2 下的生成困惑度,越低说明文本越自然;
  • WMT14(sacreBLEU):BLEU 区分大小写、BLEU(lc) 为小写化版本、chrF 是字符级 F 分数、len ratio 为生成长度与参考长度之比,脚本还会输出可直接粘贴进论文的 signature 行;
  • 数独(exact):solved % 为整盘全对率、cell % 为逐格正确率、valid % 为「即使没全对也是合法网格」的比例;
  • 无条件生成(genppl):每个 seed(42、0、1、2、3)各生成 256 条无提示样本,用 GPT-2 large 计算生成困惑度并打印样本一元熵,最后给出跨 seed 均值与标准差。LM1B 则采用 FLM 协议:解码后只用前 128 个 GPT-2 token 重新打分,得到语料级困惑度。

生成困惑度的核心实现在 evaluation/gen_ppl.py:用「参考模型」给「NCM 自己生成的文本」计算 NLL,数字越小,文本越接近人类写作的分布。

在官方基准结果中,NCM 在 LM1B 上以约 1/21 的耗时取得更低的生成困惑度,XSum 的 ROUGE-L 与最强基线相当且快约 31×,hard 数独整盘解出率达 86.1%:

NCM 文本生成质量与耗时基准对比图,展示 LM1B 困惑度、XSum ROUGE 与 hard 数独正确率优势

常见坑点与实用技巧 💡

  • GPU 数量不符:可用 --gpus 0,1 显式指定卡号;若完全没有可见 GPU,脚本会直接报错退出,先检查 CUDA 环境即可;
  • 先做快速验证:加 --n 8 只评测前 8 条输入,几秒内即可确认整个流程跑通;
  • 日志在哪看:每个分片的完整输出在 eval/<task>/shard_*.log,某分片失败时脚本会打印编号和对应日志文件路径;
  • 检查点目录结构:--checkpoint-dir 内须包含配置 checkpoints 字段所指的文件;LM1B 三个尺寸共享同一个 tokenizer,因此指向 artifacts/lm1b 即可。

以上就是 NCM 评测的完整流程:克隆 → 装依赖 → 下载权重 → 一条 evaluate.py 命令,六大基准的结果就会自动汇总打印在终端里。

登录后查看全文
ncm