NCM评测实战:如何用一条命令跑通ROUGE、sacreBLEU与生成困惑度6大基准
NCM评测实战:如何用一条命令跑通ROUGE、sacreBLEU与生成困惑度6大基准
NCM 评测怎么跑?NCM(Next-Concept Modeling,下一概念建模)是一个两阶段并行文本生成框架,官方仓库提供了一套一键基准脚本——用一条 evaluate.py 命令,即可跑通 XSum 摘要(ROUGE)、WMT14 翻译(sacreBLEU)、数独推理、TinyStories/OpenWebText 文本生成与 LM1B 语言建模(生成困惑度)共 6 大基准,多卡分片、合并、打分全自动完成。本文带你从环境搭建到结果解读,一次掌握完整流程。
什么是 NCM:几步就能出文本的并行生成框架
传统自回归模型必须逐 token 预测,而 NCM 用多尺度残差 VQ 词元化器把序列表示成层级化的离散码,再由 Transformer 在每一层内部并行预测,从粗到细逐级细化,整个生成只需每层一次前向计算。
上图中可以看到:NCM 只需 K 步前向计算就能完成整个生成——第 1 层输出最粗的码,层级越深码越精细,最终解码得到完整文本。下面是 NCM 在 TinyStories、XSum、WMT14 三个任务上逐层细化的真实演示:
评测体系速览:6大基准任务与指标对照表
NCM 的评测体系覆盖 6 类基准任务,每份配置文件中的 eval.metric 字段会自动决定使用哪套打分逻辑:
| 基准任务 | 数据规模 | 核心指标 | 配置文件 |
|---|---|---|---|
| XSum 极端摘要 | 11,334 篇 | ROUGE-1/2/L + 生成困惑度 | config/eval/xsum.yaml |
| WMT14 德英翻译 | 3,003 篇 | sacreBLEU(区分/不区分大小写)+ chrF + 长度比 | config/eval/wmt14.yaml |
| 数独推理(easy/medium/hard) | 每档 2,000 盘 | 全盘解出率 / 单元格正确率 / 合法网格率 | config/eval/sudoku-hard.yaml |
| TinyStories 故事生成 | 256 样本 × 5 个 seed | GPT-2 large 生成困惑度 + 一元熵 | config/eval/tinystories.yaml |
| OpenWebText(OWT) | 256 样本 × 5 个 seed | GPT-2 large 生成困惑度 | config/eval/owt.yaml |
| LM1B(small/medium/large) | 256 样本 × 5 个 seed | FLM 协议生成困惑度 | config/eval/lm1b-small.yaml |
一个贴心的设计:配置文件与随发布检查点分发的 config.yaml 完全一致,无需手动调参即可复现官方基准结果。
环境搭建完整步骤:克隆、安装、下载权重三步走
第 1 步:克隆仓库
git clone https://gitcode.com/gh_mirrors/ncm4/ncm
cd ncm
第 2 步:安装依赖
根目录的 requirements.txt 列出了全部依赖(torch、transformers、rouge_score、sacrebleu、huggingface_hub 等),需要 Python 3.10 及以上,推荐安装支持 CUDA 的 PyTorch:
pip install -r requirements.txt
第 3 步:下载检查点与评测数据
hf download hazyresearch/ncm-checkpoints --local-dir artifacts
hf download hazyresearch/ncm-datasets --repo-type dataset --local-dir data
一条命令评测:evaluate.py 多卡跑基准的正确打开方式
环境就绪后,评测的核心就是一条命令。以 XSum 摘要为例:
python evaluate.py --config config/eval/xsum.yaml --checkpoint-dir artifacts/xsum --data-dir data/xsum
对于无条件生成任务则不需要 --data-dir,例如 LM1B small:
python evaluate.py --config config/eval/lm1b-small.yaml --checkpoint-dir artifacts/lm1b/small
evaluate.py 入口脚本会自动完成三件事:
- 分片生成:为每张可见 GPU 各起一个 scripts/eval_shard.py 进程,每个分片独立写出生成结果
shard_k.pkl; - 合并:全部分片结束后,由 scripts/eval_merge.py 合并、按输入序号排序;
- 打分:按配置调用对应指标(rouge / bleu / exact / genppl / genppl_flm),直接打印汇总表格。
常用参数速查:
| 参数 | 作用 | 默认值 |
|---|---|---|
--config |
评测配置文件路径 | 必填 |
--checkpoint-dir |
存放 generator.pt / tokenizer.pt 的目录 |
必填 |
--data-dir |
测试数据目录(无条件任务无需提供) | 空 |
--out |
结果输出目录 | eval/<task> |
--gpus |
指定 GPU 编号,逗号分隔 | 全部可见 GPU |
--n |
只评测前 n 条输入,适合快速验证 | 0(全部) |
--cfg |
无分类器引导(CFG)强度,XSum/WMT14 可用 | 0.0 |
例如复现论文中带引导的 WMT14 结果,只需加上 --cfg 1.0:
python evaluate.py --config config/eval/wmt14.yaml --checkpoint-dir artifacts/wmt14 --data-dir data/wmt14 --cfg 1.0
结果怎么读:ROUGE、sacreBLEU 与生成困惑度逐项说明
运行结束后终端会打印汇总表格,各列含义如下:
- XSum(ROUGE):
R-1 / R-2 / R-L为三种 ROUGE 变体的 F 分数;genPPL是生成摘要在 GPT-2 下的生成困惑度,越低说明文本越自然; - WMT14(sacreBLEU):
BLEU区分大小写、BLEU(lc)为小写化版本、chrF是字符级 F 分数、len ratio为生成长度与参考长度之比,脚本还会输出可直接粘贴进论文的 signature 行; - 数独(exact):
solved %为整盘全对率、cell %为逐格正确率、valid %为「即使没全对也是合法网格」的比例; - 无条件生成(genppl):每个 seed(42、0、1、2、3)各生成 256 条无提示样本,用 GPT-2 large 计算生成困惑度并打印样本一元熵,最后给出跨 seed 均值与标准差。LM1B 则采用 FLM 协议:解码后只用前 128 个 GPT-2 token 重新打分,得到语料级困惑度。
生成困惑度的核心实现在 evaluation/gen_ppl.py:用「参考模型」给「NCM 自己生成的文本」计算 NLL,数字越小,文本越接近人类写作的分布。
在官方基准结果中,NCM 在 LM1B 上以约 1/21 的耗时取得更低的生成困惑度,XSum 的 ROUGE-L 与最强基线相当且快约 31×,hard 数独整盘解出率达 86.1%:
常见坑点与实用技巧 💡
- GPU 数量不符:可用
--gpus 0,1显式指定卡号;若完全没有可见 GPU,脚本会直接报错退出,先检查 CUDA 环境即可; - 先做快速验证:加
--n 8只评测前 8 条输入,几秒内即可确认整个流程跑通; - 日志在哪看:每个分片的完整输出在
eval/<task>/shard_*.log,某分片失败时脚本会打印编号和对应日志文件路径; - 检查点目录结构:
--checkpoint-dir内须包含配置checkpoints字段所指的文件;LM1B 三个尺寸共享同一个 tokenizer,因此指向artifacts/lm1b即可。
以上就是 NCM 评测的完整流程:克隆 → 装依赖 → 下载权重 → 一条 evaluate.py 命令,六大基准的结果就会自动汇总打印在终端里。


