如何 10 分钟跑通 AdvancedMathBench-AutoVerifier:从模型下载到第一次证明评分的完整新手教程

原创2026-10-17 22:14:421,129 阅读
文章标签:人工智能大模型模型评测

如何 10 分钟跑通 AdvancedMathBench-AutoVerifier:从模型下载到第一次证明评分的完整新手教程

AdvancedMathBench-AutoVerifier 是一款面向自然语言数学证明的自动评分器(AutoVerifier),也是 AdvancedMathBench 基准中 ProverBench 证明生成任务的官方自动判分模型。给它一道题目和一份 LLM 生成的证明,它就能判断证明是否正确、指出具体错误,并定位最早出错的步骤编号。本教程带你从零开始:装好环境、下载模型、构建第一次评分输入,读懂输出结果。

一、AdvancedMathBench-AutoVerifier 能做什么?

📌 简单来说,它是一位「AI 数学阅卷老师」,核心能力有三点:

  • 判断证明正确性:区分完全正确、部分正确、错误
  • 指出具体错误:列出逻辑错误、不充分的步骤
  • 定位首个错误:输出最早出错步骤的索引(从 0 开始,-1 表示无错误)

需要明确的是:它是一个学习得到的判分器(learned grader),不是形式化证明检查器,因此理论上也可能判错,适合用于基准评测而非严格数学判定。

模型基于 Qwen3_5MoeForConditionalGeneration 架构,权重共 40 个 safetensors 分片,体积约 68 GiB。

二、环境准备:先认准验证过的版本

💡 项目作者在 compatibility.json 中记录了完整验证过的依赖版本,照着装可以少走弯路:

依赖 推荐版本
Python 3.10.18
transformers 5.8.0
torch 2.8.0
sentencepiece 0.2.1
datasets 3.6.0
pip install "transformers==5.8.0" "torch==2.8.0" \
  "sentencepiece==0.2.1" "datasets==3.6.0" \
  "huggingface_hub==1.14.0" "safetensors==0.6.2"

硬件建议:权重约 68 GiB(bfloat16),建议单卡 80 GB 显存(如 A100/H100 80G),多卡可配合 device_map="auto" 自动分配;显存不足时可考虑量化方案。

三、模型下载步骤:一条命令搞定

git clone https://gitcode.com/InternLM/AdvancedMathBench-AutoVerifier

克隆完成后,目录里这些文件一个都不能少:

文件 作用
model-language-*.safetensors 模型权重(40 个分片,见 model.safetensors.index.json)
config.json 模型结构配置
generation_config.json 默认采样参数
tokenization_interns1.py 自定义 tokenizer(InternS1Tokenizer,远程代码)
chat_template.jinja 对话模板
prompts/proof_verifier.md ⭐ 评分提示词模板

四、构建第一次评分输入:三步走

评分输入由「题目 + 参考答案(可选)+ 分步证明」三部分组成,模板就在 prompts/proof_verifier.md,其中包含 {problem}、{human_solution}、{solution} 三个占位符。

关键约定:证明必须按步骤切分,每步用 <step0>、<step1>……包裹,索引从 0 开始。

from pathlib import Path
from transformers import AutoTokenizer

model_dir = "./AdvancedMathBench-AutoVerifier"
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

steps = ["由群定义,对任意 g 存在逆元 g⁻¹…", "设 g 的阶为 n,则 (g⁻¹)ⁿ = e…"]
proof = "\n\n".join(f"<step{i}>\n\n{s}\n\n</step{i}>" for i, s in enumerate(steps))

template = Path(model_dir, "prompts/proof_verifier.md").read_text(encoding="utf-8")
prompt = template.format(problem="证明:群元素与其逆元具有相同的阶。",
                         human_solution="", solution=proof)

messages = [{"role": "user", "content": prompt}]

⚠️ 注意两处细节:

  • 加载 tokenizer 需要 trust_remote_code=True,并且它依赖 sentencepiece。出于安全考虑,建议先阅读一下 tokenization_interns1.py 的源码
  • 模板加载不依赖模型权重,所以可以先把这一步跑通再等模型加载

五、加载模型,拿到第一次证明评分

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    model_dir, torch_dtype="bfloat16",
    device_map="auto", trust_remote_code=True,
)

inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, enable_thinking=True,
    return_tensors="pt",
).to(model.device)

out = model.generate(inputs, max_new_tokens=8192,
                     do_sample=True, temperature=1.0,
                     top_p=0.95, top_k=20)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

首次试跑可以把 max_new_tokens 调小以加快速度;正式复现 ProverBench 时使用官方设置的 65536。

六、读懂输出:XML 结构与「-1 规则」

模型最终会输出纯 XML 格式的结论,形如:

<assessment>对证明的逐步详细分析……</assessment>
<errors>
  1. 具体错误描述
</errors>
<first_error_step>2</first_error_step>

🔍 判分速查:

  • <first_error_step> 为 -1:未发现错误,证明通过
  • 非负数字:最早出错步骤的索引(从 0 开始计数)
  • 模型可能先输出一段思考过程,若存在 </think> 标签,解析其后的最终答案

七、评分参数速查:这样配置才符合官方基准

ProverBench 的官方判分策略是悲观式的:每份证明独立评分 8 次,只有当 8 次有效判断全部报告 -1 时才接受该证明;任何一次缺失或格式错误都不算通过。

参数 取值 说明
verifier_repeats_per_proof 8 每份证明评分次数
max_new_tokens 65536 历史评测生成长度上限
temperature 1.0 采样温度
top_p / top_k 0.95 / 20 checkpoint 默认采样值
do_sample true 开启采样
step_index_base / no_error_sentinel 0 / -1 步骤索引基数与无错误哨兵值

以上参数分别记录在 evaluation_settings.json 与 generation_config.json 中,复现时可直接对照。

八、新手常见坑位清单

  1. 忘记 trust_remote_code=True → 自定义 tokenizer 加载失败
  2. 证明没分步 → 必须使用 <step0>…</step0> 结构,否则评分结果不可比
  3. 步骤索引从 1 数起 → 官方约定从 0 开始,判分时要对齐
  4. 单次评分就下结论 → 官方基准要求 8 次采样全部通过,单次结果有波动
  5. 把它当形式化验证器 → 它是学习得到的判分器,结果仅供参考,重要结论需人工复核

九、核心文件一览

十、引用与许可

如果你的研究使用了本项目,请引用:

@misc{kong2026advancedmathbenchbenchmarksuiteadvanced,
  title = {AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification},
  author = {Lingkai Kong and Zijian Wu and Yuzhe Gu and Haiteng Zhao and Wenyong Huang and Shuang Sun and Zhicheng Xiong and Xiaotian Zhang and Shuya Zhao and Yan Wang and Disheng Xu and Wenwei Zhang and Kai Chen},
  year = {2026},
  eprint = {2607.11849},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  doi = {10.48550/arXiv.2607.11849}
}

模型权重与配置遵循 LICENSE(Apache License 2.0)。至此,你已经完成了从模型下载到第一次证明评分的完整链路 🎉——接下来可以尝试用不同的证明输入,观察 AutoVerifier 如何「批改」数学作业。

登录后查看全文
AdvancedMathBench-AutoVerifier