逐字段精讲:jabarti-llm-dataset Schema完整指南(16个字段一次讲透)

原创2026-10-18 20:50:471,709 阅读

逐字段精讲:jabarti-llm-dataset Schema完整指南(16个字段一次讲透)

jabarti-llm-dataset 是一套面向阿拉伯语—英语双语小模型 LLM 的完整训练数据集,包含预训练(pretrain)分块语料和微调(finetune)问答对。本文带你逐字段讲透 pretrain Schema 的 16 个核心字段:每个字段是什么、取什么值、训练时怎么用,一篇就够。

📦 30秒了解:数据集里有什么

整个仓库只有两个数据目录,结构非常清爽:

目录 内容 规模
pretrain/ 双语维基语料,按小节切块 train 705 万条 / eval 11.4 万条,共 29 个分片
finetune/ 阿语史领域 SFT 问答对 train 5.7 万条 / eval 6379 条

说明:仓库中 parquet 文件通过 Git LFS 存储,克隆或下载数据集时会自动拉取完整文件。每条 pretrain 记录是一段 120–1500 字符的连续文本,已去掉文章标题和章节标题。

字段定义的权威出处是 README.md 中的 "Article Schema" 与 "QA Schema" 两节,下面的讲解与其一一对应。

🗂️ pretrain 16 字段速览表

先看全景,再分组精讲。chunk_index 与 chunk_total 是描述同一件事(块位置)的一对,合并算第 8 项,正好 16 项核心字段:

# 字段 取值 / 类型 一句话解释
1 text 字符串 记录正文(120–1500 字符,无标题和小节标题)
2 ds_source jabarti | cohere-wiki 数据来源:精选埃及史集合 or 通用维基
3 record_id 字符串 记录级稳定 ID,跨版本不变
4 page_id 字符串 文章级 ID,用于 eval 按整篇隔离
5 sample_weight 浮点数 1/sqrt(该文记录数),抑制长文偏差
6 ortho_stripped 布尔 阿语是否去掉 hamza 书写形式
7 language ar | en 记录语言
8 chunk_index / chunk_total 整数 该块在原文中的位置(第几块 / 共几块)
9 chunk_strategy section | paragraph | whole 切块策略
10 egypt_relevance core | related | incidental | none 与埃及史相关度
11 content_quality high | medium | low | unusable 内容质量分级
12 is_person 布尔 是否人物传记
13 topic_domain history | biography | sports | arts | science | politics | geography | other 主题域
14 importance high | medium | low 基于维基浏览量的人气分级
15 ortho_convention native | stripped | mixed(仅阿语,英文为空串) 正字法约定
16 source_type native_wiki | llm_generated(仅 jabarti) 原生维基 or LLM 生成

🆔 第 1–4 项:身份与溯源字段

text 是模型真正吃进去的内容。注意两个来源处理不同:jabarti 记录带完整 curation 元数据,cohere-wiki 记录除 text、language、record_id、page_id、ds_source、sample_weight 外其余标注字段均为 null——写过滤逻辑时记得判空。

ds_source 决定了你的数据配比。整个语料里 jabarti 只占约 4% 的记录数,但如果你想强化埃及史领域,用它做过滤 + 加权是最直接的手段。

record_id 和 page_id 是两级 ID:一条记录对应一个 record_id,一篇文章的所有分块共享一个 page_id。eval 集就是靠 page_id 做到"整篇文章要么在 train、要么在 eval"的——官方已验证 21,989 篇 eval 文章中 0 篇泄漏进 train。

⚖️ 第 5–9 项:切块与采样权重

sample_weight 值得单独强调:它按 1/sqrt(该文记录数) 计算,专治"长文章被切成很多块 → 训练时被过度代表"的问题。训练时把每行文本重复/加权 sample_weight 次,就能让长短文章贡献均衡。

chunk_index / chunk_total 告诉你这块在原文里排第几、全文共几块,适合做课程学习(curriculum)或调试上下文连贯性。

chunk_strategy 记录切块方式:section(按小节)、paragraph(按段落)、whole(整篇太短直接整条)。

另外提醒:旧版阶段划分(phase1_train、phase2_train 等分片,如 pretrain/phase2_train-00000-of-00001.parquet)还保留了 section_index = 0、section_total = 1 两个列,每条记录就是完整原始块。这些 legacy 分片与新 train/eval 有重叠,切勿混用。

🔤 第 6、7、15 项:语言与正字法

language 就是 ar 或 en,微调 eval 集按它过滤即可只看单语结果。

真正容易踩坑的是阿语正字法三兄弟:

  • ortho_stripped(布尔):jabarti 中 LLM 生成的部分几乎没有 hamza 形式(约 5 个/千字符,而原生阿语维基约 28 个/千字符),也没有变音符号,这些记录会被标记 true。如果你的模型要输出标准阿语,过滤或降权这些记录。
  • ortho_convention:更细粒度的约定标记——native(原生写法)、stripped(去 hamza 写法)、mixed(混合)。仅阿语有效,英文行为空字符串。
  • 两者配合使用:language == "ar" and ortho_convention == "native" 就是最"标准"的阿语子集。

🎯 第 10–14 项:领域与质量标签

这组字段是 jabarti 精选语料的 curation 元数据,让你能按领域精细配比:

  • egypt_relevance:core(核心埃及史)→ related(相关)→ incidental(顺带提及)→ none(无关)。做领域强化学习时优先取 core。
  • content_quality:high / medium / low / unusable 四级。质量敏感的训练直接丢弃 low 和 unusable。
  • is_person:是否为传记,方便单独控制人物类内容的比例。
  • topic_domain:八大主题域(历史、传记、体育、艺术、科学、政治、地理、其他)。
  • importance:基于维基页面浏览量分级,high 的文章通常信息密度更高,可优先采样。
  • source_type:区分 native_wiki(原生维基)与 llm_generated(LLM 生成),这也是 ortho_stripped 问题的源头字段,排查正字法问题时先从它入手。

实用技巧:ds_source + egypt_relevance + sample_weight 三个字段组合,就是"想强调埃及史领域时的标准配方"(README 原话推荐)。

💬 finetune 配置:7 个 QA 字段

微调集换了另一套 Schema,结构是标准 SFT 问答对:

字段 说明
question / answer 双语问答对,训练时 loss 只算 answer 部分
language ar | en
type factual | temporal | analytical | synthesis | unanswerable
difficulty easy | medium | hard
source_article_id 回链到 phase_2 源文章
article_title 源文章标题

eval 集(finetune/eval-00000-of-00001.parquet)是预留的 QA 评测集,按 language 过滤即可分开看阿语/英语成绩;type == "unanswerable" 的记录适合专门测模型的拒答能力。

🚀 3 个最常见的字段用法

最小用法(完整代码见 README.md):

from datasets import load_dataset

pretrain = load_dataset("bakrianoo/jabarti-llm-dataset", "pretrain", split="train")
jabarti = pretrain.filter(lambda r: r["ds_source"] == "jabarti")  # 只看精选埃及史
  1. 领域强化:filter(ds_source == "jabarti") 后再按 egypt_relevance 分层采样;
  2. 纠偏采样:训练循环里按 sample_weight 重复采样长文分块;
  3. 防泄漏评测:perplexity 评测直接用 split="eval",无需自己留文章级 holdout——整篇隔离已经做在 page_id 维度上了。

⚠️ 三个常见坑位

  1. cohere-wiki 的 null 字段:对 egypt_relevance 等列做 unique() 或过滤前,先 filter(ds_source == "jabarti"),否则 null 会混进结果。
  2. 标准正字法需求:ortho_stripped == true 的记录写法不规范,正式发布模型前建议降权或剔除。
  3. 重叠覆盖:jabarti 与 cohere-wiki 都源自维基,个别文章在两个来源下都有(切块边界不同)。完全相同的文本已去重,重切块重复是刻意保留的,相当于对该内容做了上采样。

✅ 小结

jabarti-llm-dataset 的 Schema 设计思路可以概括为一句话:text 负责训练,其余 15 个字段负责"你信它、控它、筛它"——溯源(ds_source/record_id/page_id)、均衡(sample_weight/chunk_*)、领域(egypt_relevance/topic_domain/importance)、质量(content_quality/ortho_*)。把这 16 个字段吃透,双语 LLM 的预训练数据配比、领域强化和防泄漏评测就都有了抓手。

登录后查看全文
jabarti-llm-dataset