RISE 摘要评估实战指南:基于 T5X Retrieval 的检索启发式摘要评分与推理部署

原创2026-09-21 16:02:551,920 阅读
文章标签:人工智能深度学习NLP计算机视觉强化学习

RISE 摘要评估实战指南:基于 T5X Retrieval 的检索启发式摘要评分与推理部署

导读

RISE(Retrieval-Inspired Summarization Evaluation)是一套受信息检索技术启发的摘要评估方案,由 Google Research 提出(论文 arXiv:2212.08775)。本指南以仓库内 rise/README.md 为骨架,系统讲解 RISE 的评估原理、依赖环境、完整推理命令与每个 gin 参数的实战含义,并梳理官方发布的 checkpoint 家族(基座模型 × 负样本策略)。读完本文,你将能够把 RISE 落地到自己的摘要评估任务中:将数据集组织为 SeqIO 任务,基于 T5X Infer 对文档-摘要对进行相似度评分,并正确选用对应基座与训练策略的 checkpoint。

RISE 是什么:把摘要评估转化为检索问题

RISE 全称 Retrieval-Inspired Summarization Evaluation(检索启发式摘要评估),其核心思路不是直接度量摘要与参考文本的词汇重合度,而是借鉴检索任务中"查询-文档相关性"的建模方式:将待评估的文档视为检索语料,将生成的摘要视为查询,训练模型学习"该摘要是否(以及多大程度上)由这份文档产生"的相似度分数,从而得到摘要质量评估。

从评估流程的配置可以进一步印证这一点:仓库提供的推理命令中设置了 --gin.T5XR_INFERENCE_MODE="'similarity'",即以相似度推理模式运行;而模型配置文件名为 de_t5_1_1_large.gin,其中的 de 前缀可以推断为 dual encoder(双编码器) 架构——文档与摘要分别编码,再在表示空间计算相似度,这与信息检索中的双塔检索模型同构。

当前仓库中的资源边界

需要说明的是,本仓库的 rise 目录只包含 rise/README.md 一个文档文件,不包含 RISE 的训练代码、模型定义或推理配置。实际的可执行代码位于 RISE 所构建的 T5X Retrieval 项目中,README 中引用的 t5x_retrieval/configs/runs/infer.gin、t5x_retrieval/configs/models/de_t5_1_1_large.gin 均属于该外部仓库。因此本指南聚焦于:基于 README 给出的官方评估路径,把每一步配置与命令讲透。

评估前的依赖与前提

按照 README 的说明,RISE 的评估建立在三个关键组件之上:

组件 作用 在评估链路中的位置
T5X Retrieval RISE 直接构建于其上的检索框架,提供双编码器模型与推理配置 推理配置来源(gin 文件)
SeqIO 统一的任务与数据集描述框架 将你的摘要数据注册为可推理的 task
T5X Infer T5X 的推理入口脚本 执行实际的评分推理

因此,开始评估之前需要完成的前置工作包括:

  1. 克隆并配置 T5X 与 T5X Retrieval 环境(含对应的 Python 依赖);
  2. 安装 SeqIO,并将自己的数据集注册为一个 SeqIO task:task 需要暴露输入特征(通常为 inputs,即待评估的文档/摘要输入)与目标特征,并符合推理时特征长度约束;
  3. 下载对应的 RISE checkpoint(详见下文"Checkpoint 家族"一节);
  4. 确认 GPU/TPU 推理环境满足模型规模需求(大模型双编码器推理对显存有一定要求,具体以实际模型尺寸为准)。

完整推理命令逐项拆解

READEME 给出了一个端到端的推理示例:假设已把数据集组织为 SeqIO task,并使用官方发布的 T5.1.1 checkpoint,运行命令如下:

INFER_OUTPUT_DIR="..."  # directory to write infer output
T5X_DIR="..."  # directory where the t5x is cloned, e.g., ${HOME}"/t5x".
CHECKPOINT_PATH="..."

python3 ${T5X_DIR}/t5x/infer.py \
  --gin_file=t5x_retrieval/configs/runs/infer.gin \
  --gin_file=t5x_retrieval/configs/models/de_t5_1_1_large.gin \
  --gin.CHECKPOINT_PATH=\"${CHECKPOINT_PATH}\" \
  --gin.INFER_OUTPUT_DIR=\"${INFER_OUTPUT_DIR}\" \
  --gin.infer.mode="'score'" \
  --gin.TASK_FEATURE_LENGTHS="${FLAGS_task_feature_lengths}" \
  --gin.T5XR_INFERENCE_MODE="'similarity'" \
  --gin.TASK_FEATURE_LENGTHS="{'inputs': 4096, 'targets': 512}"

前置环境变量

变量 含义 取值建议
INFER_OUTPUT_DIR 推理结果输出目录 任意可写目录,建议独立目录以便归档
T5X_DIR T5X 源码克隆位置 例如 ${HOME}/t5x,需包含 t5x/infer.py
CHECKPOINT_PATH 使用的 RISE checkpoint 路径 从官方发布位置下载后解压的路径

两个 gin 配置文件

  • t5x_retrieval/configs/runs/infer.gin:推理运行配置,定义推理任务的执行方式(数据集来源、评分模式、输出格式等),由 T5X Retrieval 仓库提供;
  • t5x_retrieval/configs/models/de_t5_1_1_large.gin:模型配置,指定使用以 T5.1.1 Large 为基座训练的双编码器(dual encoder)模型结构。

六个 gin 覆盖参数

命令通过 --gin.xxx 形式覆盖配置中的默认值,逐项说明如下:

  1. --gin.CHECKPOINT_PATH:注入 checkpoint 路径,告诉推理脚本加载哪个微调后的模型权重;
  2. --gin.INFER_OUTPUT_DIR:注入输出目录,评分结果将写入此处;
  3. --gin.infer.mode="'score'":设置 T5X Infer 的运行模式为 score(评分) 模式。注意 gin 语法中的嵌套引号——"'score'" 表示该字符串参数本身带引号,这是 gin 对字符串类型的标准写法;
  4. --gin.TASK_FEATURE_LENGTHS="${FLAGS_task_feature_lengths}":以 shell 变量方式注入特征长度配置,便于脚本化调用(下一行随后又用显式字典覆盖了该变量,实际生效的是后者);
  5. --gin.T5XR_INFERENCE_MODE="'similarity'":T5X Retrieval 推理模式设为 similarity(相似度),即使用双编码器分别编码查询与文档后计算相似度得分,这是 RISE 评估的核心推理路径;
  6. --gin.TASK_FEATURE_LENGTHS="{'inputs': 4096, 'targets': 512}":特征长度字典。inputs 特征截断/填充到 4096 个 token,targets 为 512 个 token。从长度配置可以推断:RISE 面向长文档摘要场景——4096 的输入容量足以容纳较长的源文档(这也解释了为何官方同时发布基于 LongT5 的 checkpoint,其设计初衷就是处理长文本)。注意命令行中该参数出现两次,后者会覆盖前者,实际生效值为 {'inputs': 4096, 'targets': 512}。

参数组合速查表

参数 类型 示例值 作用
gin_file(runs) 文件路径 t5x_retrieval/configs/runs/infer.gin 推理运行流程配置
gin_file(models) 文件路径 t5x_retrieval/configs/models/de_t5_1_1_large.gin 双编码器模型结构配置
CHECKPOINT_PATH 字符串 本地 checkpoint 路径 加载模型权重
INFER_OUTPUT_DIR 字符串 可写目录 写入评分输出
infer.mode 字符串 'score' T5X Infer 评分模式
T5XR_INFERENCE_MODE 字符串 'similarity' 双编码器相似度推理
TASK_FEATURE_LENGTHS 字典 {'inputs': 4096, 'targets': 512} 输入/输出特征长度

推理输出解读

infer.py 以 score 模式运行后,会对每个文档-摘要对计算相似度得分并写入 INFER_OUTPUT_DIR。得分越高,表示摘要与源文档在模型表示空间中的相关性越强,即摘要越能代表源文档的核心内容——这正是 RISE 将其作为摘要质量代理指标的机制。输出文件的具体格式由 T5X Infer 与 T5X Retrieval 的运行配置决定,建议结合 infer.gin 中的输出相关设置查看。

Checkpoint 家族:基座模型 × 负样本策略

README 指出,官方发布的 checkpoint 位于 gresearch/rise 存储桶(Storage bucket)中。选择 checkpoint 时需同时关注两个维度:

维度一:基座模型(三选一)

论文中发布的 checkpoint 基于三种基座模型训练,适用于不同的数据规模与语言场景:

基座模型 特点(从模型设计推断) 适用场景推断
T5.1.1 通用文本到文本 Transformer,标准编码器-解码器容量 常规长度的英文摘要评估,通用性最好
LongT5 面向长文档改进,扩展了输入序列处理能力 长文档摘要(与 inputs: 4096 的长输入设置匹配)
mT5 多语言预训练版本 多语言/非英文摘要评估

维度二:负样本训练策略(每数据集两种)

对于每个微调数据集,官方同时发布两个变体:

  1. 仅词法负样本(lexical negatives)训练:训练时仅使用基于词法匹配(如 BM25 一类的检索式负采样)构造的负例;
  2. 词法 + 模型负样本(lexical and model negatives)训练:额外加入由训练中模型自身产出的难负例(hard negatives)。

从训练目标可以推断:加入模型负样本的变体,其训练难度更高、判别信号更强,通常在区分"看似相关实则不相关"的干扰摘要上表现更好;而词法负样本变体的负例构造成本低、更易复现。具体选用哪个变体,建议结合论文中的消融结论与自身数据分布决定。

选择建议

  • 先按语言确定基座:英文长文本优先 LongT5,多语言场景优先 mT5,通用英文场景可用 T5.1.1;
  • 再按数据域确定微调数据集对应的 checkpoint 文件夹;
  • 若评估场景包含较难区分的干扰摘要,优先尝试"词法 + 模型负样本"变体。

引用 RISE

若你的工作使用了 RISE,请使用 README 提供的 bibtex 条目进行引用:

@article{uthus2022rise,
  url = {https://arxiv.org/abs/2212.08775},
  author = {Uthus, David and Ni, Jianmo},
  title = {RISE: Leveraging Retrieval Techniques for Summarization Evaluation},
  journal={arXiv preprint arXiv:2212.08775},
  year = {2022},
}

注意事项与限制

  • 非官方产品声明:README 明确说明"This is not an official Google product",即 RISE 及其发布物并非 Google 官方产品,使用时需自行评估其适用性与风险;
  • 外部依赖:RISE 的可执行代码、推理配置与 checkpoint 均托管在外部仓库与存储服务中,本仓库的 rise 目录仅提供使用说明;运行前需确认已正确安装 T5X、T5X Retrieval 与 SeqIO 及各自版本兼容性;
  • 特征长度约束:TASK_FEATURE_LENGTHS 中的 4096/512 是示例取值,实际使用时应依据你的文档与摘要长度分布调整,超长输入会被截断;
  • 推理资源:双编码器大模型的评分推理需要相应的 GPU/TPU 算力支撑,建议按模型规模评估资源预算。

小结

RISE 把摘要评估重新定义为检索式相似度评分问题,并通过 T5X Retrieval + SeqIO + T5X Infer 的成熟组件链提供了开箱即用的评估路径。核心实践要点可归纳为三步:将数据注册为 SeqIO task → 选定基座与负样本策略对应的 checkpoint → 以 similarity 模式运行 infer.py 评分。围绕本仓库 rise/README.md 给出的命令与参数,再结合上文对各参数的逐项解析,即可在自己的摘要评估任务中复现 RISE 的完整流程。

登录后查看全文
google-research