Open-Jev v1.1快速上手:3步用HuggingFace datasets加载并探索32.6万条决策数据集
Open-Jev v1.1快速上手:3步用HuggingFace datasets加载并探索32.6万条决策数据集
Open-Jev v1.1 是一个包含 326,619 条 typed decision(类型化决策)记录的开源数据集,其中训练记录 147,139 条。本文用 3 个步骤,带你用 HuggingFace datasets 库完成 Open-Jev v1.1 数据集的加载、字段探索与完整性验证,帮助新手快速上手这份自然语言推理与概率估计训练数据。🎯
📦 一、Open-Jev v1.1 是什么?数据从哪来?
Open-Jev v1.1 发布的是冻结的 community-hard-mix-v2-final 混合体的可再分发投影(redistributable projection),覆盖 5 个 split:
| Split | 发布记录数 | 完整混合体记录数 | 省略的 Wiki 行数 |
|---|---|---|---|
| train | 147,139 | 148,639 | 1,500 |
| calibration | 26,675 | 26,764 | 89 |
| validation | 25,413 | 25,482 | 69 |
| test | 43,125 | 43,301 | 176 |
| ood | 84,267 | 84,486 | 219 |
| 合计 | 326,619 | 328,672 | 2,053 |
💡 共有 2,053 条 Wikispeedia 记录因归档图/路径数据的再分发许可未获验证而被省略;保留的行完全保留原始字节、顺序、ID 与目标分布。
数据主要由三部分构成:
- 51,200 条社区合成记录:覆盖 8 个领域(支持、信息检索、合同、RAG、浏览器工具、shell 历史、游戏、rubric 评审),包含 80 个策略族与 6,400 个基础场景,详见 provenance/community-synthetic-manifest.json
- 101,207 条 WANLI 转换记录:英文自然语言推理(NLI)数据,前提/假设对被转换为 entailment / contradiction / neutral 三选一的 Choice 决策,转换细节见 provenance/wanli-conversion-manifest.json
- 回放(replay)记录:复用既有 Open-Jev 控制数据,每来源上限 1,500 行,按哈希顺序轮询选取
每条记录有 3 种 kind:choice(选择题)、noul(no/yes 二值判断)、score(评分)。数据文件位于 data/community-hard-mix-v2-redistributable/(Parquet)与 raw/community-hard-mix-v2-redistributable/(gzip 压缩的原始 JSONL)。
🚀 二、第 1 步:安装 datasets 并一键加载
先安装 HuggingFace 官方 datasets 库:
pip install datasets
然后只需一行代码即可加载全部 5 个 split(config 名为 community-hard-mix-v2-redistributable):
from datasets import load_dataset
ds = load_dataset("ZefanCai/Open-Jev-v1.1", "community-hard-mix-v2-redistributable")
print(ds) # 查看各 split 行数
📌 两个新手提示:
- 固定 commit 版本:做可复现实验时,建议锁定一个 dataset commit,避免上游更新影响结果。
- 本地仓库:如需查看 provenance 清单等配套文件,可克隆仓库:
git clone https://gitcode.com/hf_mirrors/ZefanCai/Open-Jev-v1.1
🔍 三、第 2 步:读懂字段结构,还原原始记录
Parquet 表包含以下列:id、group_id、split、source、kind、question、options、target、state_json、metadata_json、record_json、original_line_number。
其中 record_json 是关键——它解码后就是原始训练记录:
import json
row = ds["train"][0]
record = json.loads(row["record_json"]) # 还原原始记录
print(row["kind"], row["source"], row["question"][:80])
理解字段时有 4 个要点:
target是选项上的概率分布,不自动等于"经验不确定性估计";Noul 类型固定为[P(no), P(yes)]- 查看
metadata.target_basis:标签可能来自精确合成规则、已知随机构造、人工标注或最优动作均匀集 - 模型输入只有
state、question、kind、options四部分;数据集元数据、控制隐变量和目标分布属于监督/溯源字段,不是模型输入 original_line_number指向记录在完整混合体中的位置,编号断档处即是被省略的 Wiki 行
✅ 四、第 3 步:校验完整性,验证数据可信
导出前已做了唯一 ID、跨 split 父组隔离、来源哈希、标签与精确 Parquet/raw 往返校验,所有结果记录在 export-manifest.json 中,包含每个 split 的 original_sha256 与排除行明细。
还原完整原始混合体:如果你另行获得了 wikispeedia-v1 的 split 文件,可运行配套脚本按规范哈希精确补回 2,053 行并逐 split 校验 checksum(脚本本身不会下载 Wiki 归档,也不授予其任何权利):
python reproduce/restore_original_mixture.py \
--release-root /path/to/Open-Jev-v1.1 \
--wiki-dir /path/to/separately-obtained/wikiracing \
--output /path/to/new/full-original-mixture
实现细节可参考 reproduce/restore_original_mixture.py。
评测隔离说明:记录在案的词汇筛查(见 provenance/benchmark-overlap-screen.json)将 148,639 条训练行与 531 条冻结评测请求做了可见字段比对,未发现匹配行——但这不能证明不存在改写、语义重叠或预训练暴露。
⚖️ 五、许可证与注意事项速览
| 内容 | 许可 |
|---|---|
| WANLI 文本及其转换记录 | CC BY 4.0(需保留署名) |
| 原始生成的 Open-Jev 内容 | CC0 1.0 |
| 源代码 | MIT |
详细说明见 LICENSE-DATA.md 与 THIRD_PARTY_NOTICES.md,WANLI 原始数据集卡保留在 provenance/WANLI-README.md。
最后提醒两点 🧭:
- 本发布是可再分发投影,发布计数不能替代完整训练计数(27B 阶段实际用满 148,639 行训练 split)
- 完整性校验只能证明数据一致性,不代表语义正确性或基准性能;人工复核标签仍可能出错
完整字段与用法细节请以官方数据集卡 README.md 为准。
小结
按照"安装加载 → 字段探索 → 完整性校验"3 步,你就能用 HuggingFace datasets 完整上手 Open-Jev v1.1 的 32.6 万条决策数据集,无论是做自然语言推理、概率估计实验,还是研究类型化决策数据构造,这份数据与配套的溯源清单都提供了开箱即用的基础。