RISE 摘要评估实战指南:基于 T5X Retrieval 的检索启发式摘要评分与推理部署
RISE 摘要评估实战指南:基于 T5X Retrieval 的检索启发式摘要评分与推理部署
导读
RISE(Retrieval-Inspired Summarization Evaluation)是一套受信息检索技术启发的摘要评估方案,由 Google Research 提出(论文 arXiv:2212.08775)。本指南以仓库内 rise/README.md 为骨架,系统讲解 RISE 的评估原理、依赖环境、完整推理命令与每个 gin 参数的实战含义,并梳理官方发布的 checkpoint 家族(基座模型 × 负样本策略)。读完本文,你将能够把 RISE 落地到自己的摘要评估任务中:将数据集组织为 SeqIO 任务,基于 T5X Infer 对文档-摘要对进行相似度评分,并正确选用对应基座与训练策略的 checkpoint。
RISE 是什么:把摘要评估转化为检索问题
RISE 全称 Retrieval-Inspired Summarization Evaluation(检索启发式摘要评估),其核心思路不是直接度量摘要与参考文本的词汇重合度,而是借鉴检索任务中"查询-文档相关性"的建模方式:将待评估的文档视为检索语料,将生成的摘要视为查询,训练模型学习"该摘要是否(以及多大程度上)由这份文档产生"的相似度分数,从而得到摘要质量评估。
从评估流程的配置可以进一步印证这一点:仓库提供的推理命令中设置了 --gin.T5XR_INFERENCE_MODE="'similarity'",即以相似度推理模式运行;而模型配置文件名为 de_t5_1_1_large.gin,其中的 de 前缀可以推断为 dual encoder(双编码器) 架构——文档与摘要分别编码,再在表示空间计算相似度,这与信息检索中的双塔检索模型同构。
当前仓库中的资源边界
需要说明的是,本仓库的 rise 目录只包含 rise/README.md 一个文档文件,不包含 RISE 的训练代码、模型定义或推理配置。实际的可执行代码位于 RISE 所构建的 T5X Retrieval 项目中,README 中引用的 t5x_retrieval/configs/runs/infer.gin、t5x_retrieval/configs/models/de_t5_1_1_large.gin 均属于该外部仓库。因此本指南聚焦于:基于 README 给出的官方评估路径,把每一步配置与命令讲透。
评估前的依赖与前提
按照 README 的说明,RISE 的评估建立在三个关键组件之上:
| 组件 | 作用 | 在评估链路中的位置 |
|---|---|---|
| T5X Retrieval | RISE 直接构建于其上的检索框架,提供双编码器模型与推理配置 | 推理配置来源(gin 文件) |
| SeqIO | 统一的任务与数据集描述框架 | 将你的摘要数据注册为可推理的 task |
| T5X Infer | T5X 的推理入口脚本 | 执行实际的评分推理 |
因此,开始评估之前需要完成的前置工作包括:
- 克隆并配置 T5X 与 T5X Retrieval 环境(含对应的 Python 依赖);
- 安装 SeqIO,并将自己的数据集注册为一个 SeqIO task:task 需要暴露输入特征(通常为
inputs,即待评估的文档/摘要输入)与目标特征,并符合推理时特征长度约束; - 下载对应的 RISE checkpoint(详见下文"Checkpoint 家族"一节);
- 确认 GPU/TPU 推理环境满足模型规模需求(大模型双编码器推理对显存有一定要求,具体以实际模型尺寸为准)。
完整推理命令逐项拆解
READEME 给出了一个端到端的推理示例:假设已把数据集组织为 SeqIO task,并使用官方发布的 T5.1.1 checkpoint,运行命令如下:
INFER_OUTPUT_DIR="..." # directory to write infer output
T5X_DIR="..." # directory where the t5x is cloned, e.g., ${HOME}"/t5x".
CHECKPOINT_PATH="..."
python3 ${T5X_DIR}/t5x/infer.py \
--gin_file=t5x_retrieval/configs/runs/infer.gin \
--gin_file=t5x_retrieval/configs/models/de_t5_1_1_large.gin \
--gin.CHECKPOINT_PATH=\"${CHECKPOINT_PATH}\" \
--gin.INFER_OUTPUT_DIR=\"${INFER_OUTPUT_DIR}\" \
--gin.infer.mode="'score'" \
--gin.TASK_FEATURE_LENGTHS="${FLAGS_task_feature_lengths}" \
--gin.T5XR_INFERENCE_MODE="'similarity'" \
--gin.TASK_FEATURE_LENGTHS="{'inputs': 4096, 'targets': 512}"
前置环境变量
| 变量 | 含义 | 取值建议 |
|---|---|---|
INFER_OUTPUT_DIR |
推理结果输出目录 | 任意可写目录,建议独立目录以便归档 |
T5X_DIR |
T5X 源码克隆位置 | 例如 ${HOME}/t5x,需包含 t5x/infer.py |
CHECKPOINT_PATH |
使用的 RISE checkpoint 路径 | 从官方发布位置下载后解压的路径 |
两个 gin 配置文件
t5x_retrieval/configs/runs/infer.gin:推理运行配置,定义推理任务的执行方式(数据集来源、评分模式、输出格式等),由 T5X Retrieval 仓库提供;t5x_retrieval/configs/models/de_t5_1_1_large.gin:模型配置,指定使用以 T5.1.1 Large 为基座训练的双编码器(dual encoder)模型结构。
六个 gin 覆盖参数
命令通过 --gin.xxx 形式覆盖配置中的默认值,逐项说明如下:
--gin.CHECKPOINT_PATH:注入 checkpoint 路径,告诉推理脚本加载哪个微调后的模型权重;--gin.INFER_OUTPUT_DIR:注入输出目录,评分结果将写入此处;--gin.infer.mode="'score'":设置 T5X Infer 的运行模式为 score(评分) 模式。注意 gin 语法中的嵌套引号——"'score'"表示该字符串参数本身带引号,这是 gin 对字符串类型的标准写法;--gin.TASK_FEATURE_LENGTHS="${FLAGS_task_feature_lengths}":以 shell 变量方式注入特征长度配置,便于脚本化调用(下一行随后又用显式字典覆盖了该变量,实际生效的是后者);--gin.T5XR_INFERENCE_MODE="'similarity'":T5X Retrieval 推理模式设为similarity(相似度),即使用双编码器分别编码查询与文档后计算相似度得分,这是 RISE 评估的核心推理路径;--gin.TASK_FEATURE_LENGTHS="{'inputs': 4096, 'targets': 512}":特征长度字典。inputs特征截断/填充到 4096 个 token,targets为 512 个 token。从长度配置可以推断:RISE 面向长文档摘要场景——4096 的输入容量足以容纳较长的源文档(这也解释了为何官方同时发布基于 LongT5 的 checkpoint,其设计初衷就是处理长文本)。注意命令行中该参数出现两次,后者会覆盖前者,实际生效值为{'inputs': 4096, 'targets': 512}。
参数组合速查表
| 参数 | 类型 | 示例值 | 作用 |
|---|---|---|---|
gin_file(runs) |
文件路径 | t5x_retrieval/configs/runs/infer.gin |
推理运行流程配置 |
gin_file(models) |
文件路径 | t5x_retrieval/configs/models/de_t5_1_1_large.gin |
双编码器模型结构配置 |
CHECKPOINT_PATH |
字符串 | 本地 checkpoint 路径 | 加载模型权重 |
INFER_OUTPUT_DIR |
字符串 | 可写目录 | 写入评分输出 |
infer.mode |
字符串 | 'score' |
T5X Infer 评分模式 |
T5XR_INFERENCE_MODE |
字符串 | 'similarity' |
双编码器相似度推理 |
TASK_FEATURE_LENGTHS |
字典 | {'inputs': 4096, 'targets': 512} |
输入/输出特征长度 |
推理输出解读
infer.py 以 score 模式运行后,会对每个文档-摘要对计算相似度得分并写入 INFER_OUTPUT_DIR。得分越高,表示摘要与源文档在模型表示空间中的相关性越强,即摘要越能代表源文档的核心内容——这正是 RISE 将其作为摘要质量代理指标的机制。输出文件的具体格式由 T5X Infer 与 T5X Retrieval 的运行配置决定,建议结合 infer.gin 中的输出相关设置查看。
Checkpoint 家族:基座模型 × 负样本策略
README 指出,官方发布的 checkpoint 位于 gresearch/rise 存储桶(Storage bucket)中。选择 checkpoint 时需同时关注两个维度:
维度一:基座模型(三选一)
论文中发布的 checkpoint 基于三种基座模型训练,适用于不同的数据规模与语言场景:
| 基座模型 | 特点(从模型设计推断) | 适用场景推断 |
|---|---|---|
| T5.1.1 | 通用文本到文本 Transformer,标准编码器-解码器容量 | 常规长度的英文摘要评估,通用性最好 |
| LongT5 | 面向长文档改进,扩展了输入序列处理能力 | 长文档摘要(与 inputs: 4096 的长输入设置匹配) |
| mT5 | 多语言预训练版本 | 多语言/非英文摘要评估 |
维度二:负样本训练策略(每数据集两种)
对于每个微调数据集,官方同时发布两个变体:
- 仅词法负样本(lexical negatives)训练:训练时仅使用基于词法匹配(如 BM25 一类的检索式负采样)构造的负例;
- 词法 + 模型负样本(lexical and model negatives)训练:额外加入由训练中模型自身产出的难负例(hard negatives)。
从训练目标可以推断:加入模型负样本的变体,其训练难度更高、判别信号更强,通常在区分"看似相关实则不相关"的干扰摘要上表现更好;而词法负样本变体的负例构造成本低、更易复现。具体选用哪个变体,建议结合论文中的消融结论与自身数据分布决定。
选择建议
- 先按语言确定基座:英文长文本优先 LongT5,多语言场景优先 mT5,通用英文场景可用 T5.1.1;
- 再按数据域确定微调数据集对应的 checkpoint 文件夹;
- 若评估场景包含较难区分的干扰摘要,优先尝试"词法 + 模型负样本"变体。
引用 RISE
若你的工作使用了 RISE,请使用 README 提供的 bibtex 条目进行引用:
@article{uthus2022rise,
url = {https://arxiv.org/abs/2212.08775},
author = {Uthus, David and Ni, Jianmo},
title = {RISE: Leveraging Retrieval Techniques for Summarization Evaluation},
journal={arXiv preprint arXiv:2212.08775},
year = {2022},
}
注意事项与限制
- 非官方产品声明:README 明确说明"This is not an official Google product",即 RISE 及其发布物并非 Google 官方产品,使用时需自行评估其适用性与风险;
- 外部依赖:RISE 的可执行代码、推理配置与 checkpoint 均托管在外部仓库与存储服务中,本仓库的 rise 目录仅提供使用说明;运行前需确认已正确安装 T5X、T5X Retrieval 与 SeqIO 及各自版本兼容性;
- 特征长度约束:
TASK_FEATURE_LENGTHS中的 4096/512 是示例取值,实际使用时应依据你的文档与摘要长度分布调整,超长输入会被截断; - 推理资源:双编码器大模型的评分推理需要相应的 GPU/TPU 算力支撑,建议按模型规模评估资源预算。
小结
RISE 把摘要评估重新定义为检索式相似度评分问题,并通过 T5X Retrieval + SeqIO + T5X Infer 的成熟组件链提供了开箱即用的评估路径。核心实践要点可归纳为三步:将数据注册为 SeqIO task → 选定基座与负样本策略对应的 checkpoint → 以 similarity 模式运行 infer.py 评分。围绕本仓库 rise/README.md 给出的命令与参数,再结合上文对各参数的逐项解析,即可在自己的摘要评估任务中复现 RISE 的完整流程。