Open-Jev v1.1快速上手:3步用HuggingFace datasets加载并探索32.6万条决策数据集

原创2026-10-20 17:16:372,235 阅读

Open-Jev v1.1快速上手:3步用HuggingFace datasets加载并探索32.6万条决策数据集

Open-Jev v1.1 是一个包含 326,619 条 typed decision(类型化决策)记录的开源数据集,其中训练记录 147,139 条。本文用 3 个步骤,带你用 HuggingFace datasets 库完成 Open-Jev v1.1 数据集的加载、字段探索与完整性验证,帮助新手快速上手这份自然语言推理与概率估计训练数据。🎯

📦 一、Open-Jev v1.1 是什么?数据从哪来?

Open-Jev v1.1 发布的是冻结的 community-hard-mix-v2-final 混合体的可再分发投影(redistributable projection),覆盖 5 个 split:

Split 发布记录数 完整混合体记录数 省略的 Wiki 行数
train 147,139 148,639 1,500
calibration 26,675 26,764 89
validation 25,413 25,482 69
test 43,125 43,301 176
ood 84,267 84,486 219
合计 326,619 328,672 2,053

💡 共有 2,053 条 Wikispeedia 记录因归档图/路径数据的再分发许可未获验证而被省略;保留的行完全保留原始字节、顺序、ID 与目标分布。

数据主要由三部分构成:

  • 51,200 条社区合成记录:覆盖 8 个领域(支持、信息检索、合同、RAG、浏览器工具、shell 历史、游戏、rubric 评审),包含 80 个策略族与 6,400 个基础场景,详见 provenance/community-synthetic-manifest.json
  • 101,207 条 WANLI 转换记录:英文自然语言推理(NLI)数据,前提/假设对被转换为 entailment / contradiction / neutral 三选一的 Choice 决策,转换细节见 provenance/wanli-conversion-manifest.json
  • 回放(replay)记录:复用既有 Open-Jev 控制数据,每来源上限 1,500 行,按哈希顺序轮询选取

每条记录有 3 种 kind:choice(选择题)、noul(no/yes 二值判断)、score(评分)。数据文件位于 data/community-hard-mix-v2-redistributable/(Parquet)与 raw/community-hard-mix-v2-redistributable/(gzip 压缩的原始 JSONL)。

🚀 二、第 1 步:安装 datasets 并一键加载

先安装 HuggingFace 官方 datasets 库:

pip install datasets

然后只需一行代码即可加载全部 5 个 split(config 名为 community-hard-mix-v2-redistributable):

from datasets import load_dataset

ds = load_dataset("ZefanCai/Open-Jev-v1.1", "community-hard-mix-v2-redistributable")
print(ds)  # 查看各 split 行数

📌 两个新手提示:

  1. 固定 commit 版本:做可复现实验时,建议锁定一个 dataset commit,避免上游更新影响结果。
  2. 本地仓库:如需查看 provenance 清单等配套文件,可克隆仓库:git clone https://gitcode.com/hf_mirrors/ZefanCai/Open-Jev-v1.1

🔍 三、第 2 步:读懂字段结构,还原原始记录

Parquet 表包含以下列:id、group_id、split、source、kind、question、options、target、state_json、metadata_json、record_json、original_line_number。

其中 record_json 是关键——它解码后就是原始训练记录:

import json

row = ds["train"][0]
record = json.loads(row["record_json"])   # 还原原始记录
print(row["kind"], row["source"], row["question"][:80])

理解字段时有 4 个要点:

  • target 是选项上的概率分布,不自动等于"经验不确定性估计";Noul 类型固定为 [P(no), P(yes)]
  • 查看 metadata.target_basis:标签可能来自精确合成规则、已知随机构造、人工标注或最优动作均匀集
  • 模型输入只有 state、question、kind、options 四部分;数据集元数据、控制隐变量和目标分布属于监督/溯源字段,不是模型输入
  • original_line_number 指向记录在完整混合体中的位置,编号断档处即是被省略的 Wiki 行

✅ 四、第 3 步:校验完整性,验证数据可信

导出前已做了唯一 ID、跨 split 父组隔离、来源哈希、标签与精确 Parquet/raw 往返校验,所有结果记录在 export-manifest.json 中,包含每个 split 的 original_sha256 与排除行明细。

还原完整原始混合体:如果你另行获得了 wikispeedia-v1 的 split 文件,可运行配套脚本按规范哈希精确补回 2,053 行并逐 split 校验 checksum(脚本本身不会下载 Wiki 归档,也不授予其任何权利):

python reproduce/restore_original_mixture.py \
  --release-root /path/to/Open-Jev-v1.1 \
  --wiki-dir /path/to/separately-obtained/wikiracing \
  --output /path/to/new/full-original-mixture

实现细节可参考 reproduce/restore_original_mixture.py。

评测隔离说明:记录在案的词汇筛查(见 provenance/benchmark-overlap-screen.json)将 148,639 条训练行与 531 条冻结评测请求做了可见字段比对,未发现匹配行——但这不能证明不存在改写、语义重叠或预训练暴露。

⚖️ 五、许可证与注意事项速览

内容 许可
WANLI 文本及其转换记录 CC BY 4.0(需保留署名)
原始生成的 Open-Jev 内容 CC0 1.0
源代码 MIT

详细说明见 LICENSE-DATA.md 与 THIRD_PARTY_NOTICES.md,WANLI 原始数据集卡保留在 provenance/WANLI-README.md。

最后提醒两点 🧭:

  • 本发布是可再分发投影,发布计数不能替代完整训练计数(27B 阶段实际用满 148,639 行训练 split)
  • 完整性校验只能证明数据一致性,不代表语义正确性或基准性能;人工复核标签仍可能出错

完整字段与用法细节请以官方数据集卡 README.md 为准。

小结

按照"安装加载 → 字段探索 → 完整性校验"3 步,你就能用 HuggingFace datasets 完整上手 Open-Jev v1.1 的 32.6 万条决策数据集,无论是做自然语言推理、概率估计实验,还是研究类型化决策数据构造,这份数据与配套的溯源清单都提供了开箱即用的基础。

登录后查看全文
Open-Jev-v1.1