逐字段精讲:jabarti-llm-dataset Schema完整指南(16个字段一次讲透)
逐字段精讲:jabarti-llm-dataset Schema完整指南(16个字段一次讲透)
jabarti-llm-dataset 是一套面向阿拉伯语—英语双语小模型 LLM 的完整训练数据集,包含预训练(pretrain)分块语料和微调(finetune)问答对。本文带你逐字段讲透 pretrain Schema 的 16 个核心字段:每个字段是什么、取什么值、训练时怎么用,一篇就够。
📦 30秒了解:数据集里有什么
整个仓库只有两个数据目录,结构非常清爽:
| 目录 | 内容 | 规模 |
|---|---|---|
| pretrain/ | 双语维基语料,按小节切块 | train 705 万条 / eval 11.4 万条,共 29 个分片 |
| finetune/ | 阿语史领域 SFT 问答对 | train 5.7 万条 / eval 6379 条 |
- 预训练主分片:pretrain/train-00000-of-00029.parquet
- 预训练评测集:pretrain/eval-00000-of-00001.parquet
- 微调训练集:finetune/train-00000-of-00001.parquet
说明:仓库中 parquet 文件通过 Git LFS 存储,克隆或下载数据集时会自动拉取完整文件。每条 pretrain 记录是一段 120–1500 字符的连续文本,已去掉文章标题和章节标题。
字段定义的权威出处是 README.md 中的 "Article Schema" 与 "QA Schema" 两节,下面的讲解与其一一对应。
🗂️ pretrain 16 字段速览表
先看全景,再分组精讲。chunk_index 与 chunk_total 是描述同一件事(块位置)的一对,合并算第 8 项,正好 16 项核心字段:
| # | 字段 | 取值 / 类型 | 一句话解释 |
|---|---|---|---|
| 1 | text |
字符串 | 记录正文(120–1500 字符,无标题和小节标题) |
| 2 | ds_source |
jabarti | cohere-wiki |
数据来源:精选埃及史集合 or 通用维基 |
| 3 | record_id |
字符串 | 记录级稳定 ID,跨版本不变 |
| 4 | page_id |
字符串 | 文章级 ID,用于 eval 按整篇隔离 |
| 5 | sample_weight |
浮点数 | 1/sqrt(该文记录数),抑制长文偏差 |
| 6 | ortho_stripped |
布尔 | 阿语是否去掉 hamza 书写形式 |
| 7 | language |
ar | en |
记录语言 |
| 8 | chunk_index / chunk_total |
整数 | 该块在原文中的位置(第几块 / 共几块) |
| 9 | chunk_strategy |
section | paragraph | whole |
切块策略 |
| 10 | egypt_relevance |
core | related | incidental | none |
与埃及史相关度 |
| 11 | content_quality |
high | medium | low | unusable |
内容质量分级 |
| 12 | is_person |
布尔 | 是否人物传记 |
| 13 | topic_domain |
history | biography | sports | arts | science | politics | geography | other |
主题域 |
| 14 | importance |
high | medium | low |
基于维基浏览量的人气分级 |
| 15 | ortho_convention |
native | stripped | mixed(仅阿语,英文为空串) |
正字法约定 |
| 16 | source_type |
native_wiki | llm_generated(仅 jabarti) |
原生维基 or LLM 生成 |
🆔 第 1–4 项:身份与溯源字段
text 是模型真正吃进去的内容。注意两个来源处理不同:jabarti 记录带完整 curation 元数据,cohere-wiki 记录除 text、language、record_id、page_id、ds_source、sample_weight 外其余标注字段均为 null——写过滤逻辑时记得判空。
ds_source 决定了你的数据配比。整个语料里 jabarti 只占约 4% 的记录数,但如果你想强化埃及史领域,用它做过滤 + 加权是最直接的手段。
record_id 和 page_id 是两级 ID:一条记录对应一个 record_id,一篇文章的所有分块共享一个 page_id。eval 集就是靠 page_id 做到"整篇文章要么在 train、要么在 eval"的——官方已验证 21,989 篇 eval 文章中 0 篇泄漏进 train。
⚖️ 第 5–9 项:切块与采样权重
sample_weight 值得单独强调:它按 1/sqrt(该文记录数) 计算,专治"长文章被切成很多块 → 训练时被过度代表"的问题。训练时把每行文本重复/加权 sample_weight 次,就能让长短文章贡献均衡。
chunk_index / chunk_total 告诉你这块在原文里排第几、全文共几块,适合做课程学习(curriculum)或调试上下文连贯性。
chunk_strategy 记录切块方式:section(按小节)、paragraph(按段落)、whole(整篇太短直接整条)。
另外提醒:旧版阶段划分(phase1_train、phase2_train 等分片,如 pretrain/phase2_train-00000-of-00001.parquet)还保留了 section_index = 0、section_total = 1 两个列,每条记录就是完整原始块。这些 legacy 分片与新 train/eval 有重叠,切勿混用。
🔤 第 6、7、15 项:语言与正字法
language 就是 ar 或 en,微调 eval 集按它过滤即可只看单语结果。
真正容易踩坑的是阿语正字法三兄弟:
ortho_stripped(布尔):jabarti中 LLM 生成的部分几乎没有 hamza 形式(约 5 个/千字符,而原生阿语维基约 28 个/千字符),也没有变音符号,这些记录会被标记true。如果你的模型要输出标准阿语,过滤或降权这些记录。ortho_convention:更细粒度的约定标记——native(原生写法)、stripped(去 hamza 写法)、mixed(混合)。仅阿语有效,英文行为空字符串。- 两者配合使用:
language == "ar" and ortho_convention == "native"就是最"标准"的阿语子集。
🎯 第 10–14 项:领域与质量标签
这组字段是 jabarti 精选语料的 curation 元数据,让你能按领域精细配比:
egypt_relevance:core(核心埃及史)→related(相关)→incidental(顺带提及)→none(无关)。做领域强化学习时优先取core。content_quality:high/medium/low/unusable四级。质量敏感的训练直接丢弃low和unusable。is_person:是否为传记,方便单独控制人物类内容的比例。topic_domain:八大主题域(历史、传记、体育、艺术、科学、政治、地理、其他)。importance:基于维基页面浏览量分级,high的文章通常信息密度更高,可优先采样。source_type:区分native_wiki(原生维基)与llm_generated(LLM 生成),这也是ortho_stripped问题的源头字段,排查正字法问题时先从它入手。
实用技巧:
ds_source+egypt_relevance+sample_weight三个字段组合,就是"想强调埃及史领域时的标准配方"(README 原话推荐)。
💬 finetune 配置:7 个 QA 字段
微调集换了另一套 Schema,结构是标准 SFT 问答对:
| 字段 | 说明 |
|---|---|
question / answer |
双语问答对,训练时 loss 只算 answer 部分 |
language |
ar | en |
type |
factual | temporal | analytical | synthesis | unanswerable |
difficulty |
easy | medium | hard |
source_article_id |
回链到 phase_2 源文章 |
article_title |
源文章标题 |
eval 集(finetune/eval-00000-of-00001.parquet)是预留的 QA 评测集,按 language 过滤即可分开看阿语/英语成绩;type == "unanswerable" 的记录适合专门测模型的拒答能力。
🚀 3 个最常见的字段用法
最小用法(完整代码见 README.md):
from datasets import load_dataset
pretrain = load_dataset("bakrianoo/jabarti-llm-dataset", "pretrain", split="train")
jabarti = pretrain.filter(lambda r: r["ds_source"] == "jabarti") # 只看精选埃及史
- 领域强化:
filter(ds_source == "jabarti")后再按egypt_relevance分层采样; - 纠偏采样:训练循环里按
sample_weight重复采样长文分块; - 防泄漏评测:perplexity 评测直接用
split="eval",无需自己留文章级 holdout——整篇隔离已经做在page_id维度上了。
⚠️ 三个常见坑位
- cohere-wiki 的 null 字段:对
egypt_relevance等列做unique()或过滤前,先filter(ds_source == "jabarti"),否则 null 会混进结果。 - 标准正字法需求:
ortho_stripped == true的记录写法不规范,正式发布模型前建议降权或剔除。 - 重叠覆盖:
jabarti与cohere-wiki都源自维基,个别文章在两个来源下都有(切块边界不同)。完全相同的文本已去重,重切块重复是刻意保留的,相当于对该内容做了上采样。
✅ 小结
jabarti-llm-dataset 的 Schema 设计思路可以概括为一句话:text 负责训练,其余 15 个字段负责"你信它、控它、筛它"——溯源(ds_source/record_id/page_id)、均衡(sample_weight/chunk_*)、领域(egypt_relevance/topic_domain/importance)、质量(content_quality/ortho_*)。把这 16 个字段吃透,双语 LLM 的预训练数据配比、领域强化和防泄漏评测就都有了抓手。