garum训练数据揭秘:50+公开数据源、30+研究数据集与19条数据污染审计

原创2026-11-16 20:14:561,874 阅读
文章标签:人工智能大模型微调LoRA模型评测

garum训练数据揭秘:50+公开数据源、30+研究数据集与19条数据污染审计

garum 是基于 google/gemma-4-31B-it 的 LoRA 微调适配器,专为多选决策类问题输出每个选项的概率分布而训练。这篇文章完整揭秘 garum 训练数据:50+ 公开数据源、34 个学术研究数据集的完整清单,以及一份把 19 条数据污染条目全部"计为错误"的自律审计,适合想了解"模型数据从哪来、如何防止考试作弊"的初学者。

garum 是什么?为什么值得先搞懂它的数据

一句话概括:garum = 基座模型 gemma-4-31B-it + LoRA 适配器 + 校准过的贝叶斯末层头。

注意一个细节:garum 给出的概率不是选项字母的原始 logits 分数,而是末层头综合隐状态与字母 logits 计算出的输出——这正是它"概率经过校准"的关键。而适配器与末层头的质量,完全取决于训练数据。👇

训练数据总览:三大类,共 66 个数据源

garum 的完整数据清单记录在 README.md(Data attribution 章节),按来源分成三大类:

类别 数量 代表
🌐 开放数据与公共记录 27 英文维基百科、美国联邦法院记录、OSHA 事故报告、LIGO 引力波警报
📚 学术研究数据集 34 BANKING77、GSM8K、WinoGrande、SQuAD 2.0
🧩 社区合成数据集 5 Open-Jev、jebadiah-synth-v2、system-one-270m-data
✍️ 作者自生成合成题 — 不含任何第三方数据

所有记录在训练前都经过重格式化处理:字段挑选、文本截断、标识符脱敏。所以训练语料不是任何数据源的官方拷贝,这一点在项目里被明确声明。

开放数据与公共记录:横跨五大领域(27 个源)

完整出处见 README.md。按领域速览:

⚖️ 法律与司法

  • Swiss Judgment Prediction XL:瑞士联邦最高法院判决(法院已做匿名化)
  • 美国联邦法院:Federal Judicial Center Integrated Database + CourtListener 批量数据
  • State Supreme Court Data Project:州最高法院判决

🛡️ 公共安全与监管

  • OSHA 重伤报告与执法数据、NTSB 航空事故数据库、NHTSA 车辆缺陷调查
  • openFDA 执法报告与器械召回、USGS 地震数据(PAGER/ComCat)

🏥 健康与医学

  • ClinicalTrials.gov(仅选注册字段、试验编号脱敏)、ClinVar、Orphanet、CIViC、加州 DMHC 独立医学审查数据

🔬 科学与工程

  • GDELT 全球事件数据、NOAA/NWS 风暴预测文本产品、LIGO/Virgo/KAGRA 引力波公开警报
  • 国家漏洞库 NVD / CVE / CWE、美国人口普查 ACS PUMS(配 folktables 任务定义)

🧠 软件与知识

  • 英文 Wikipedia(2023-11-01 全量 dump)、Wikipedia AFD 删除讨论、Wikidata 结构化数据
  • Lichess 开放数据库、Amazon ESCI 购物查询、OpenReview 评审与评分
  • AIDev、SWE-rebench、Open-Jev

34 个学术研究数据集:逐个点名

完整出处见 README.md,每个数据集均附参考文献与许可证:

数据集 任务 / 领域 参考文献 许可证
BANKING77 银行意图分类 Casanueva et al., 2020 CC BY 4.0
CLINC150 150 域意图分类 Larson et al., 2019 CC BY 3.0
GoEmotions 情绪分类 Demszky et al., 2020 Apache-2.0
GSM8K 小学数学应用题 Cobbe et al., 2021 MIT
HelpSteer2 对话质量排序 Wang et al., 2024 CC BY 4.0
Measuring Hate Speech 仇恨言论检测 Kennedy et al., 2020 CC BY 4.0
IBM Debater ArgQ-Rank-30kArgs 论据排序 Gretz et al., 2019 CC BY 3.0
BBQ 刻板印象偏见基准 Parrish et al., 2022 CC BY 4.0
CaSiNo 常识自然语言推理 Chawla et al., 2021 CC BY 4.0
Circa 时间推理 Louis et al., 2020 CC BY 4.0
CodeContests 竞赛编程 Li et al., 2022 CC BY 4.0
CosmosQA 视频问答 Huang et al., 2019 CC BY 4.0
CommonsenseQA 常识推理 Talmor et al., 2019 MIT
e-CARE 医学对话 Du et al., 2022 MIT
Social IQa 社会常识 Sap et al., 2019 CC BY 4.0
WinoGrande Winograd 常识 Sakaguchi et al., 2019 CC BY
MedMCQA 医学考试问答 Pal et al., 2022 Apache-2.0
PubMedQA 生物医学文献问答 Jin et al., 2019 MIT
Stanford Politeness Corpus 礼貌度检测(via ConvoKit) Danescu-Niculescu-Mizil et al., 2013 CC BY 4.0
Scruples AI 伦理评测 Lourie et al., 2021 Apache-2.0
TabFact 表格事实核查 Chen et al., 2020 CC BY 4.0
WANLI 语言推断 Liu et al., 2022 CC BY 4.0
DocNLI 文档级 NLI Yin et al., 2021 BSD-3-Clause
ANLI 对抗性 NLI(训练对,内含于 DocNLI) Nie et al., 2020 CC BY-NC 4.0
Fool Me Twice 鲁棒 NLI Eisenschlos et al., 2021 Apache-2.0
PUBHEALTH 公共卫生 NLP Kotonya & Toni, 2020 MIT
VitaminC 常识推断 Schuster et al., 2021 CC BY-SA 3.0
WiCE 反事实 NLI Kamoi et al., 2023 CC BY-SA 4.0
WikiHop 多跳知识问答 Welbl et al., 2018 CC BY-SA 3.0
HotpotQA 多跳问答 Yang et al., 2018 CC BY-SA 4.0
SQuAD 2.0 含不可答问题的问答 Rajpurkar et al., 2018 CC BY-SA 4.0
QuAC 会话式问答 Choi et al., 2018 MIT
NevIR 医疗记录 Weller et al., 2024 MIT
WANDS 医疗对话 Chen et al., 2022 MIT

其中从 WANLI 到 WANDS 的 12 个数据集(及 DocNLI 内的 ANLI 对)经由 tasksource-jev-typed-decisions 数据集引入,各自保留原有许可证。

社区合成数据 + 自生成数据

  • tasksource/procedural-typed-decisions(Apache-2.0)
  • frontier-infra/jebadiah-synth-v2(Apache-2.0)
  • kaivoss/system-one-270m-data(Apache-2.0)
  • vagmi/jevlite_dataset(CC BY-SA 4.0)
  • mghafiri/decision-model-scenarios(MIT)
  • 作者自生成的决策题(不依赖第三方数据)

防"考试作弊":train/test 切分纪律

再好的数据,如果测试题混进训练集,评测就失去意义。garum 的规矩(见 README.md):

  1. 只用训练切分:BANKING77、CLINC150、GSM8K 均使用 train split;另用 WinoGrande train、Amazon ESCI 训练查询、Lichess 谜题(与 ChessBench 用的是不同数据集)、ANLI 训练对(属于 DocNLI 的一部分)
  2. 测试切分一律不碰:没有任何基准的 test split 被用于训练
  3. 上线前三重筛查:garum 相对前代 garas 新增的数据,在训练前与 Decision Index 公开评测集做了精确匹配、近似精确匹配、8 词 shingle 匹配三种筛查,所有命中的条目全部移除;其中不含任何 ANLI 测试对

19 条污染审计:自己挑自己,并计为错误

即便有筛查,审计训练文本时仍在 Decision Index 公开套件(37 个基准)中发现了 19 条测试项,与 BANKING77、CLINC150 训练切分中的语句完全或近似重复:

  • BANKING77 18 条:554、677、727、742、747、751、754、1432、1735、1754、1993、2081、2211、2440、2644、2651、2987、3070
  • CLINC150 1 条:1591

处理方式非常透明:这 19 条全部按错误计分(与 Decision Index 官方对 train 重复 test 条目的板规则一致)。两种口径下的得分对比:

计分方式 综合指数 知识 语言 检索 工具 艺术
板规则(19 条计为错误) 58.34 44.81 61.79 63.19 75.04 44.16
原始计分 58.36 44.81 61.79 63.29 75.04 44.16

差距仅 0.02——说明污染对模型能力没有实质影响,而项目依然选择采用更严格的板规则口径对外公布。✅

另外值得注意:DocNLI 的 400 个训练单元中有 64 个包含上游 ANLI(CC BY-NC 4.0)的完整 premise-hypothesis 对,全部来自 ANLI 训练切分——非商业条款因此被完整保留在说明中。

评测速览:14 万道题、115ms 中位延迟

在 Decision Index 0.3 公开面板(37 个基准)上:

  • 140,178 个请求完成计分,其中 309 条(MMLU-Pro 304 条、iSarcasmEval 5 条)因引擎拒答报告为 unsupported 并计为错误,其余零截断
  • 延迟(1×RTX PRO 6000 实测):中位 115ms、平均 492ms、80 分位 424ms

完整评测运行文件与更正记录(2026-10-20 修正了一条引擎误判说明)见 README.md。

许可证与使用限制:这些"附加条款"别忽略

  • 适配器与末层头均为 Apache-2.0,基座模型同为 Apache-2.0
  • 部分数据源自带使用条件,README 逐条重申(见 README.md):
    • CourtListener 数据:不得用于美国《公平信用报告法》覆盖的用途
    • 美国人口普查 PUMS:永远不得用于识别任何个人或家庭
    • ANLI:CC BY-NC 4.0,仅限非商业
    • NVD / 美国劳工部、加州 DMHC、MITRE CVE/CWE:附对应的不背书与版权声明

快速上手:三步加载 garum

依赖:torch、transformers、peft、safetensors、numpy:

from huggingface_hub import snapshot_download
from modeling_garum import GarumForDecision

repo = snapshot_download("plantwaterer/garum")
model = GarumForDecision.from_pretrained(repo, base="google/gemma-4-31B-it", device_map="cuda")

answers = model.predict_proba(
    "The forecast gives a 70% chance of heavy rain this afternoon. The match is outdoors, on grass.",
    {"rain": {"type": "noul", "instructions": "Is heavy rain likely?"}})
print(answers["rain"]["noul"])

完整用法与批量推理接口见 README.md。

总结:从 garum 的训练数据中学到的三件事

  1. 数据源要全部列名:66 个来源逐一给出参考文献与许可证,而不是含糊一句"来自公开数据"
  2. 纪律比规模更重要:train/test 切分隔离 + 训练前三重匹配筛查,是"没作弊"的第一道证明
  3. 污染要公示、且从严计分:19 条重复条目、0.02 分差距,全部写在明面上

把训练数据"摊开晒",本身就是对模型可信度最有说服力的背书。🔍

登录后查看全文
garum