Syntax Check与Consistency Check详解:MathForm-8B两大核心评测指标完全指南
Syntax Check与Consistency Check详解:MathForm-8B两大核心评测指标完全指南
📌 MathForm-8B 是 OpenBMB 开源的数学自动形式化(Autoformalization)模型,能把自然语言数学题转写成可被证明器验证的 Lean 4 代码。本文带你完全搞懂它的两大核心评测指标——Syntax Check(SC,语法检查) 与 Consistency Check(CC,一致性检查),以及它们背后的 Pass@8 评测体系,帮助你在阅读基准结果和复现评测时不再踩坑。
一、3 分钟认识 MathForm-8B:数学题的"自动翻译官"
在了解评测指标前,先花 1 分钟建立背景。
自动形式化指的是:把人写的自然语言数学陈述(例如"证明对所有实数 x,x² 非负")自动翻译成形式化语言(这里是 Lean 4)中的严格定义,从而让机器可以逐字验证证明过程。
MathForm-8B 的关键信息如下:
| 项目 | 说明 |
|---|---|
| 模型定位 | 自然语言数学陈述 → Lean 4 形式化代码 |
| 基座模型 | Qwen3-8B(见 config.json) |
| 训练数据 | FormalVerse 数据集 |
| 训练方式 | 监督微调(SFT)+ 强化学习,强化学习的奖励信号来自 Lean 编译 与 语义一致性 两类反馈 |
| 评测环境 | Lean 4.21.0,编译检查依赖运行中的 Kimina Lean Server |
💡 记住"编译反馈 + 语义一致性反馈"这句话——这正是理解后面 SC 与 CC 两大指标的关键伏笔。
下图展示了 MathForm 的数据构造与训练流程,其中的"编译与语义验证 + 迭代式修正"环节,就是 SC / CC 思想在数据生产阶段的体现:
二、Syntax Check(SC)是什么:代码能不能"编译通过"
Syntax Check 关注的是形式化代码本身的"语法与类型正确性":模型生成的 Lean 4 声明,能否在 Lean 4.21.0 编译器和 Mathlib 数学库环境下成功编译。
可以把它类比成编程中的"代码能不能过编译器":
- ✅ 通过 SC:生成的
theorem声明语法正确、类型自洽、引用的 Mathlib 符号都真实存在,Lean 能顺利编译。 - ❌ 未通过 SC:拼写错误、类型不匹配、引用了不存在的定义或符号、缩进/定界符错误等。
SC 的判定特点
- 客观且可自动执行:把生成的 Lean 4 代码提交给 Kimina Lean Server 编译,通过与否一目了然,无需人工判断。
- 是"硬门槛":连语法都不对的形式化代码,谈不上任何数学上的正确性,因此 SC 是所有后续检查的前提。
- 评测方式:由于模型输出存在随机性,评测采用 Pass@k(如 Pass@8)——生成多个候选,只要至少一条通过检查即记为通过,用通过率(%)衡量模型能力。
三、Consistency Check(CC)是什么:意思和原题"对得上吗"
Consistency Check 关注的是语义层面的忠实性:形式化声明在数学含义上是否与自然语言原题一致——不多不少、不偷换条件、不弱化结论。
即使一段 Lean 4 代码完美通过了编译(SC 通过),它仍可能"编译对了但题意错了",例如:
- 把"对所有实数 x"偷换成"对所有正实数 x"(收窄了论域);
- 把严格不等式写成了非严格不等式(弱化了结论);
- 漏掉了原题中的一个约束条件。
这些"语法满分、语义跑偏"的情况都会被 CC 判为不通过。
CC 的判定特点
- 比 SC 严格得多:CC 通过 ⊆ SC 通过,即一致性检查是语法检查的超集式更严标准——SC 通过只是 CC 通过的必要条件。
- 与训练闭环呼应:MathForm-8B 的强化学习奖励中专门包含"语义一致性反馈",模型在训练阶段就被持续纠正"形式化与原题不一致"的行为,因此其在 CC 下的表现是论文结果图的重点对比维度。
- 判定依赖编译结果 + 语义比对:同样依托 Lean 编译环境,但评判对象从"代码能不能跑"升级为"代码说的是不是原题"。
四、SC vs CC 对比速查表:一张表看懂两大指标差异
| 对比维度 | Syntax Check(SC) | Consistency Check(CC) |
|---|---|---|
| 检查层级 | 语法 / 类型层 | 语义 / 数学含义层 |
| 核心问题 | "代码编译得过吗?" | "代码和原题意思一样吗?" |
| 判定工具 | Lean 4.21.0 编译器 + Mathlib | 编译结果 + 语义一致性比对 |
| 失败典型原因 | 拼写、类型、引用错误 | 条件遗漏、论域偷换、结论弱化 |
| 严格程度 | 较低(基础门槛) | 较高(SC 通过的子集) |
| 对应训练信号 | Lean 编译反馈 | 语义一致性反馈 |
🎯 一句话总结:SC 保证"说得通"(Lean 能听懂),CC 保证"说的是同一件事"(与原题等价)。
五、如何看 Pass@8 基准结果:SC / CC 双列结果图解读
MathForm-8B 在六个数学形式化基准上报告了 SC 与 CC 两种口径下的 Pass@8 通过率(%),其中 AVG 为六个基准的等权宏平均;每一列中,最佳结果加粗、次佳结果加下划线。
读图小贴士:
- 横向对比看基座:同一模型 SC 列与 CC 列的差值,就是"语法对但题意错"造成的能力损耗,差值越大说明语义忠实性越薄弱。
- 纵向对比看模型:AVG 列同时看 SC 与 CC 两个数值,才能完整评估一个自动形式化模型,单看 SC 会高估其实用能力。
- 注意 Pass@8 的含义:一次生成 8 个候选,任意一条通过即算成功,这是"上限能力"口径;生产环境中单次输出仍建议结合采样参数控制。
六、新手实践清单:跑评测前的 4 个准备事项
✅ 准备 Lean 环境:编译检查需要一台运行中的 Kimina Lean Server,实验版本为 Lean 4.21.0,版本不匹配可能导致误判 SC。
✅ 对齐官方评测脚本:评测流程、基准文件和 Pass@k 脚本均随 MathForm 项目提供,直接复用官方脚本可避免自行实现 SC / CC 判定时出现口径偏差。
✅ 使用官方推荐采样参数(单次体验或复现结果时建议照抄):
| 参数 | 推荐值 |
|---|---|
temperature |
0.6 |
top_p |
0.95 |
max_new_tokens |
16384 |
✅ 核对对话模板:模型使用自带的 chat template(见 chat_template.jinja),加载时不要手动改写 prompt 格式,否则可能影响形式化输出的稳定性;推理侧推荐参数也可参考 generation_config.json。
小结:Syntax Check 是 MathForm-8B 评测的"地基",Consistency Check 才是检验自动形式化真实水平的"试金石"。理解了 SC 与 CC 的区别,你就能正确解读 README_zh.md 中报告的全部基准数据,并在实际部署中合理预期模型在"编译通过率"与"语义忠实率"上的表现差异。

