Syntax Check与Consistency Check详解:MathForm-8B两大核心评测指标完全指南

原创2026-10-17 13:49:561,865 阅读

Syntax Check与Consistency Check详解:MathForm-8B两大核心评测指标完全指南

📌 MathForm-8B 是 OpenBMB 开源的数学自动形式化(Autoformalization)模型,能把自然语言数学题转写成可被证明器验证的 Lean 4 代码。本文带你完全搞懂它的两大核心评测指标——Syntax Check(SC,语法检查) 与 Consistency Check(CC,一致性检查),以及它们背后的 Pass@8 评测体系,帮助你在阅读基准结果和复现评测时不再踩坑。

一、3 分钟认识 MathForm-8B:数学题的"自动翻译官"

在了解评测指标前,先花 1 分钟建立背景。

自动形式化指的是:把人写的自然语言数学陈述(例如"证明对所有实数 x,x² 非负")自动翻译成形式化语言(这里是 Lean 4)中的严格定义,从而让机器可以逐字验证证明过程。

MathForm-8B 的关键信息如下:

项目 说明
模型定位 自然语言数学陈述 → Lean 4 形式化代码
基座模型 Qwen3-8B(见 config.json)
训练数据 FormalVerse 数据集
训练方式 监督微调(SFT)+ 强化学习,强化学习的奖励信号来自 Lean 编译 与 语义一致性 两类反馈
评测环境 Lean 4.21.0,编译检查依赖运行中的 Kimina Lean Server

💡 记住"编译反馈 + 语义一致性反馈"这句话——这正是理解后面 SC 与 CC 两大指标的关键伏笔。

下图展示了 MathForm 的数据构造与训练流程,其中的"编译与语义验证 + 迭代式修正"环节,就是 SC / CC 思想在数据生产阶段的体现:

MathForm-8B数据构造与训练流程:包含Mathlib知识检索、Syntax Check编译验证与Consistency Check语义一致性验证环节

二、Syntax Check(SC)是什么:代码能不能"编译通过"

Syntax Check 关注的是形式化代码本身的"语法与类型正确性":模型生成的 Lean 4 声明,能否在 Lean 4.21.0 编译器和 Mathlib 数学库环境下成功编译。

可以把它类比成编程中的"代码能不能过编译器":

  • ✅ 通过 SC:生成的 theorem 声明语法正确、类型自洽、引用的 Mathlib 符号都真实存在,Lean 能顺利编译。
  • ❌ 未通过 SC:拼写错误、类型不匹配、引用了不存在的定义或符号、缩进/定界符错误等。

SC 的判定特点

  1. 客观且可自动执行:把生成的 Lean 4 代码提交给 Kimina Lean Server 编译,通过与否一目了然,无需人工判断。
  2. 是"硬门槛":连语法都不对的形式化代码,谈不上任何数学上的正确性,因此 SC 是所有后续检查的前提。
  3. 评测方式:由于模型输出存在随机性,评测采用 Pass@k(如 Pass@8)——生成多个候选,只要至少一条通过检查即记为通过,用通过率(%)衡量模型能力。

三、Consistency Check(CC)是什么:意思和原题"对得上吗"

Consistency Check 关注的是语义层面的忠实性:形式化声明在数学含义上是否与自然语言原题一致——不多不少、不偷换条件、不弱化结论。

即使一段 Lean 4 代码完美通过了编译(SC 通过),它仍可能"编译对了但题意错了",例如:

  • 把"对所有实数 x"偷换成"对所有正实数 x"(收窄了论域);
  • 把严格不等式写成了非严格不等式(弱化了结论);
  • 漏掉了原题中的一个约束条件。

这些"语法满分、语义跑偏"的情况都会被 CC 判为不通过。

CC 的判定特点

  1. 比 SC 严格得多:CC 通过 ⊆ SC 通过,即一致性检查是语法检查的超集式更严标准——SC 通过只是 CC 通过的必要条件。
  2. 与训练闭环呼应:MathForm-8B 的强化学习奖励中专门包含"语义一致性反馈",模型在训练阶段就被持续纠正"形式化与原题不一致"的行为,因此其在 CC 下的表现是论文结果图的重点对比维度。
  3. 判定依赖编译结果 + 语义比对:同样依托 Lean 编译环境,但评判对象从"代码能不能跑"升级为"代码说的是不是原题"。

四、SC vs CC 对比速查表:一张表看懂两大指标差异

对比维度 Syntax Check(SC) Consistency Check(CC)
检查层级 语法 / 类型层 语义 / 数学含义层
核心问题 "代码编译得过吗?" "代码和原题意思一样吗?"
判定工具 Lean 4.21.0 编译器 + Mathlib 编译结果 + 语义一致性比对
失败典型原因 拼写、类型、引用错误 条件遗漏、论域偷换、结论弱化
严格程度 较低(基础门槛) 较高(SC 通过的子集)
对应训练信号 Lean 编译反馈 语义一致性反馈

🎯 一句话总结:SC 保证"说得通"(Lean 能听懂),CC 保证"说的是同一件事"(与原题等价)。

五、如何看 Pass@8 基准结果:SC / CC 双列结果图解读

MathForm-8B 在六个数学形式化基准上报告了 SC 与 CC 两种口径下的 Pass@8 通过率(%),其中 AVG 为六个基准的等权宏平均;每一列中,最佳结果加粗、次佳结果加下划线。

MathForm-8B在六个基准上Syntax Check与Consistency Check双口径Pass@8评测结果图

读图小贴士:

  1. 横向对比看基座:同一模型 SC 列与 CC 列的差值,就是"语法对但题意错"造成的能力损耗,差值越大说明语义忠实性越薄弱。
  2. 纵向对比看模型:AVG 列同时看 SC 与 CC 两个数值,才能完整评估一个自动形式化模型,单看 SC 会高估其实用能力。
  3. 注意 Pass@8 的含义:一次生成 8 个候选,任意一条通过即算成功,这是"上限能力"口径;生产环境中单次输出仍建议结合采样参数控制。

六、新手实践清单:跑评测前的 4 个准备事项

✅ 准备 Lean 环境:编译检查需要一台运行中的 Kimina Lean Server,实验版本为 Lean 4.21.0,版本不匹配可能导致误判 SC。

✅ 对齐官方评测脚本:评测流程、基准文件和 Pass@k 脚本均随 MathForm 项目提供,直接复用官方脚本可避免自行实现 SC / CC 判定时出现口径偏差。

✅ 使用官方推荐采样参数(单次体验或复现结果时建议照抄):

参数 推荐值
temperature 0.6
top_p 0.95
max_new_tokens 16384

✅ 核对对话模板:模型使用自带的 chat template(见 chat_template.jinja),加载时不要手动改写 prompt 格式,否则可能影响形式化输出的稳定性;推理侧推荐参数也可参考 generation_config.json。


小结:Syntax Check 是 MathForm-8B 评测的"地基",Consistency Check 才是检验自动形式化真实水平的"试金石"。理解了 SC 与 CC 的区别,你就能正确解读 README_zh.md 中报告的全部基准数据,并在实际部署中合理预期模型在"编译通过率"与"语义忠实率"上的表现差异。

登录后查看全文
MathForm-8B