garum训练数据揭秘:50+公开数据源、30+研究数据集与19条数据污染审计
garum训练数据揭秘:50+公开数据源、30+研究数据集与19条数据污染审计
garum 是基于 google/gemma-4-31B-it 的 LoRA 微调适配器,专为多选决策类问题输出每个选项的概率分布而训练。这篇文章完整揭秘 garum 训练数据:50+ 公开数据源、34 个学术研究数据集的完整清单,以及一份把 19 条数据污染条目全部"计为错误"的自律审计,适合想了解"模型数据从哪来、如何防止考试作弊"的初学者。
garum 是什么?为什么值得先搞懂它的数据
一句话概括:garum = 基座模型 gemma-4-31B-it + LoRA 适配器 + 校准过的贝叶斯末层头。
- LoRA 权重:adapter_model.safetensors,超参配置见 adapter_config.json(r=48、lora_alpha=32,作用于 MLP 与注意力的 q/k/v/o 投影层)
- 末层头(Bayesian head):vbll_head.safetensors,实现于 garum_head.py 的
BayesianHead - 统一模型入口:modeling_garum.py 的
GarumForDecision - 评估引擎:garum_engine.py 的
GarumEngine
注意一个细节:garum 给出的概率不是选项字母的原始 logits 分数,而是末层头综合隐状态与字母 logits 计算出的输出——这正是它"概率经过校准"的关键。而适配器与末层头的质量,完全取决于训练数据。👇
训练数据总览:三大类,共 66 个数据源
garum 的完整数据清单记录在 README.md(Data attribution 章节),按来源分成三大类:
| 类别 | 数量 | 代表 |
|---|---|---|
| 🌐 开放数据与公共记录 | 27 | 英文维基百科、美国联邦法院记录、OSHA 事故报告、LIGO 引力波警报 |
| 📚 学术研究数据集 | 34 | BANKING77、GSM8K、WinoGrande、SQuAD 2.0 |
| 🧩 社区合成数据集 | 5 | Open-Jev、jebadiah-synth-v2、system-one-270m-data |
| ✍️ 作者自生成合成题 | — | 不含任何第三方数据 |
所有记录在训练前都经过重格式化处理:字段挑选、文本截断、标识符脱敏。所以训练语料不是任何数据源的官方拷贝,这一点在项目里被明确声明。
开放数据与公共记录:横跨五大领域(27 个源)
完整出处见 README.md。按领域速览:
⚖️ 法律与司法
- Swiss Judgment Prediction XL:瑞士联邦最高法院判决(法院已做匿名化)
- 美国联邦法院:Federal Judicial Center Integrated Database + CourtListener 批量数据
- State Supreme Court Data Project:州最高法院判决
🛡️ 公共安全与监管
- OSHA 重伤报告与执法数据、NTSB 航空事故数据库、NHTSA 车辆缺陷调查
- openFDA 执法报告与器械召回、USGS 地震数据(PAGER/ComCat)
🏥 健康与医学
- ClinicalTrials.gov(仅选注册字段、试验编号脱敏)、ClinVar、Orphanet、CIViC、加州 DMHC 独立医学审查数据
🔬 科学与工程
- GDELT 全球事件数据、NOAA/NWS 风暴预测文本产品、LIGO/Virgo/KAGRA 引力波公开警报
- 国家漏洞库 NVD / CVE / CWE、美国人口普查 ACS PUMS(配 folktables 任务定义)
🧠 软件与知识
- 英文 Wikipedia(2023-11-01 全量 dump)、Wikipedia AFD 删除讨论、Wikidata 结构化数据
- Lichess 开放数据库、Amazon ESCI 购物查询、OpenReview 评审与评分
- AIDev、SWE-rebench、Open-Jev
34 个学术研究数据集:逐个点名
完整出处见 README.md,每个数据集均附参考文献与许可证:
| 数据集 | 任务 / 领域 | 参考文献 | 许可证 |
|---|---|---|---|
| BANKING77 | 银行意图分类 | Casanueva et al., 2020 | CC BY 4.0 |
| CLINC150 | 150 域意图分类 | Larson et al., 2019 | CC BY 3.0 |
| GoEmotions | 情绪分类 | Demszky et al., 2020 | Apache-2.0 |
| GSM8K | 小学数学应用题 | Cobbe et al., 2021 | MIT |
| HelpSteer2 | 对话质量排序 | Wang et al., 2024 | CC BY 4.0 |
| Measuring Hate Speech | 仇恨言论检测 | Kennedy et al., 2020 | CC BY 4.0 |
| IBM Debater ArgQ-Rank-30kArgs | 论据排序 | Gretz et al., 2019 | CC BY 3.0 |
| BBQ | 刻板印象偏见基准 | Parrish et al., 2022 | CC BY 4.0 |
| CaSiNo | 常识自然语言推理 | Chawla et al., 2021 | CC BY 4.0 |
| Circa | 时间推理 | Louis et al., 2020 | CC BY 4.0 |
| CodeContests | 竞赛编程 | Li et al., 2022 | CC BY 4.0 |
| CosmosQA | 视频问答 | Huang et al., 2019 | CC BY 4.0 |
| CommonsenseQA | 常识推理 | Talmor et al., 2019 | MIT |
| e-CARE | 医学对话 | Du et al., 2022 | MIT |
| Social IQa | 社会常识 | Sap et al., 2019 | CC BY 4.0 |
| WinoGrande | Winograd 常识 | Sakaguchi et al., 2019 | CC BY |
| MedMCQA | 医学考试问答 | Pal et al., 2022 | Apache-2.0 |
| PubMedQA | 生物医学文献问答 | Jin et al., 2019 | MIT |
| Stanford Politeness Corpus | 礼貌度检测(via ConvoKit) | Danescu-Niculescu-Mizil et al., 2013 | CC BY 4.0 |
| Scruples | AI 伦理评测 | Lourie et al., 2021 | Apache-2.0 |
| TabFact | 表格事实核查 | Chen et al., 2020 | CC BY 4.0 |
| WANLI | 语言推断 | Liu et al., 2022 | CC BY 4.0 |
| DocNLI | 文档级 NLI | Yin et al., 2021 | BSD-3-Clause |
| ANLI | 对抗性 NLI(训练对,内含于 DocNLI) | Nie et al., 2020 | CC BY-NC 4.0 |
| Fool Me Twice | 鲁棒 NLI | Eisenschlos et al., 2021 | Apache-2.0 |
| PUBHEALTH | 公共卫生 NLP | Kotonya & Toni, 2020 | MIT |
| VitaminC | 常识推断 | Schuster et al., 2021 | CC BY-SA 3.0 |
| WiCE | 反事实 NLI | Kamoi et al., 2023 | CC BY-SA 4.0 |
| WikiHop | 多跳知识问答 | Welbl et al., 2018 | CC BY-SA 3.0 |
| HotpotQA | 多跳问答 | Yang et al., 2018 | CC BY-SA 4.0 |
| SQuAD 2.0 | 含不可答问题的问答 | Rajpurkar et al., 2018 | CC BY-SA 4.0 |
| QuAC | 会话式问答 | Choi et al., 2018 | MIT |
| NevIR | 医疗记录 | Weller et al., 2024 | MIT |
| WANDS | 医疗对话 | Chen et al., 2022 | MIT |
其中从 WANLI 到 WANDS 的 12 个数据集(及 DocNLI 内的 ANLI 对)经由 tasksource-jev-typed-decisions 数据集引入,各自保留原有许可证。
社区合成数据 + 自生成数据
- tasksource/procedural-typed-decisions(Apache-2.0)
- frontier-infra/jebadiah-synth-v2(Apache-2.0)
- kaivoss/system-one-270m-data(Apache-2.0)
- vagmi/jevlite_dataset(CC BY-SA 4.0)
- mghafiri/decision-model-scenarios(MIT)
- 作者自生成的决策题(不依赖第三方数据)
防"考试作弊":train/test 切分纪律
再好的数据,如果测试题混进训练集,评测就失去意义。garum 的规矩(见 README.md):
- 只用训练切分:BANKING77、CLINC150、GSM8K 均使用 train split;另用 WinoGrande train、Amazon ESCI 训练查询、Lichess 谜题(与 ChessBench 用的是不同数据集)、ANLI 训练对(属于 DocNLI 的一部分)
- 测试切分一律不碰:没有任何基准的 test split 被用于训练
- 上线前三重筛查:garum 相对前代 garas 新增的数据,在训练前与 Decision Index 公开评测集做了精确匹配、近似精确匹配、8 词 shingle 匹配三种筛查,所有命中的条目全部移除;其中不含任何 ANLI 测试对
19 条污染审计:自己挑自己,并计为错误
即便有筛查,审计训练文本时仍在 Decision Index 公开套件(37 个基准)中发现了 19 条测试项,与 BANKING77、CLINC150 训练切分中的语句完全或近似重复:
- BANKING77 18 条:554、677、727、742、747、751、754、1432、1735、1754、1993、2081、2211、2440、2644、2651、2987、3070
- CLINC150 1 条:1591
处理方式非常透明:这 19 条全部按错误计分(与 Decision Index 官方对 train 重复 test 条目的板规则一致)。两种口径下的得分对比:
| 计分方式 | 综合指数 | 知识 | 语言 | 检索 | 工具 | 艺术 |
|---|---|---|---|---|---|---|
| 板规则(19 条计为错误) | 58.34 | 44.81 | 61.79 | 63.19 | 75.04 | 44.16 |
| 原始计分 | 58.36 | 44.81 | 61.79 | 63.29 | 75.04 | 44.16 |
差距仅 0.02——说明污染对模型能力没有实质影响,而项目依然选择采用更严格的板规则口径对外公布。✅
另外值得注意:DocNLI 的 400 个训练单元中有 64 个包含上游 ANLI(CC BY-NC 4.0)的完整 premise-hypothesis 对,全部来自 ANLI 训练切分——非商业条款因此被完整保留在说明中。
评测速览:14 万道题、115ms 中位延迟
在 Decision Index 0.3 公开面板(37 个基准)上:
- 140,178 个请求完成计分,其中 309 条(MMLU-Pro 304 条、iSarcasmEval 5 条)因引擎拒答报告为 unsupported 并计为错误,其余零截断
- 延迟(1×RTX PRO 6000 实测):中位 115ms、平均 492ms、80 分位 424ms
完整评测运行文件与更正记录(2026-10-20 修正了一条引擎误判说明)见 README.md。
许可证与使用限制:这些"附加条款"别忽略
- 适配器与末层头均为 Apache-2.0,基座模型同为 Apache-2.0
- 部分数据源自带使用条件,README 逐条重申(见 README.md):
- CourtListener 数据:不得用于美国《公平信用报告法》覆盖的用途
- 美国人口普查 PUMS:永远不得用于识别任何个人或家庭
- ANLI:CC BY-NC 4.0,仅限非商业
- NVD / 美国劳工部、加州 DMHC、MITRE CVE/CWE:附对应的不背书与版权声明
快速上手:三步加载 garum
依赖:torch、transformers、peft、safetensors、numpy:
from huggingface_hub import snapshot_download
from modeling_garum import GarumForDecision
repo = snapshot_download("plantwaterer/garum")
model = GarumForDecision.from_pretrained(repo, base="google/gemma-4-31B-it", device_map="cuda")
answers = model.predict_proba(
"The forecast gives a 70% chance of heavy rain this afternoon. The match is outdoors, on grass.",
{"rain": {"type": "noul", "instructions": "Is heavy rain likely?"}})
print(answers["rain"]["noul"])
完整用法与批量推理接口见 README.md。
总结:从 garum 的训练数据中学到的三件事
- 数据源要全部列名:66 个来源逐一给出参考文献与许可证,而不是含糊一句"来自公开数据"
- 纪律比规模更重要:train/test 切分隔离 + 训练前三重匹配筛查,是"没作弊"的第一道证明
- 污染要公示、且从严计分:19 条重复条目、0.02 分差距,全部写在明面上
把训练数据"摊开晒",本身就是对模型可信度最有说服力的背书。🔍