wikipedia数据集如何选择语言配置:300+语言代码与20220301版本日期选择指南
wikipedia数据集如何选择语言配置:300+语言代码与20220301版本日期选择指南
wikipedia数据集(Wikipedia dataset)是 HuggingFace datasets 库中最受欢迎的多语言文本数据集之一:它基于维基百科官方 dump 构建,每篇文章经过清洗(去除 Markdown、引用、表格等噪音),按语言代码和版本日期划分成独立配置,覆盖 300 余种语言,广泛用于语言建模(language modeling)与掩码语言建模(masked language modeling)。本文将从配置命名规则、语言代码选择、20220301 日期含义三个维度,给新手一份完整的选型指南。
一、先搞懂配置命名规则:日期.语言
使用 wikipedia 数据集时,所有配置名都遵循统一的命名格式:
{date}.{language}
以最常见的 20220301.en 为例:
| 部分 | 含义 | 示例 |
|---|---|---|
20220301 |
数据来源的维基百科 dump 日期,格式为 YYYYMMDD |
2022-03-01 的快照 |
en |
语言代码(Wikipedia 站点代码) | 英文 |
这个规则直接定义在 wikipedia.py 的 WikipediaConfig 类中——配置名就是 f"{date}.{language}" 拼接而成。
💡 新手要点:日期不是"版本",而是快照日期。不同日期对应不同时间点的维基百科内容;语言代码决定下载哪个语言站点的文章。
二、两种加载方式:预处理好 vs 现下载解析
根据 README.md 的 Dataset Card 说明,wikipedia 数据集支持两种加载路径:
方式一:加载预处理好配置(推荐新手)
HuggingFace 已经预先处理好了 6 个子集,直接按配置名加载,无需本地解析,速度快、可复现:
load_dataset("wikipedia", "20220301.en")
方式二:任意语言 + 任意日期组合
对于未预处理好的语言,可以指定 language 和 date 参数,数据集会自动从维基百科 dump 下载 XML 并在本地解析清洗:
load_dataset("wikipedia", language="sw", date="20220120")
⚡ 提示:本地处理时可以在
load_dataset中指定num_proc=参数来并行生成数据集,显著加快处理速度。
对应的原始数据分片存放在 data/ 目录下的各语言子目录中,例如 data/20220301.en/、data/20220301.de/,每个 parquet 分片以 train-00000-of-00041.parquet 这样的命名保存。
三、6 个预处理好配置怎么选?
目前预处理好(pre-processed)的配置共 6 个,完整清单记录在 wikipedia.py 的 PROCESSED_CONFIG_TO_NUM_SHARDS 中:
| 配置名 | 语言 | 分片数 | 文章数 | 处理后体积 | 适合场景 |
|---|---|---|---|---|---|
20220301.en |
英语 | 41 | 6,458,670 | 20.28 GB | 通用语言模型、GPT 类预训练 |
20220301.de |
德语 | 18 | 2,665,357 | 8.91 GB | 德语模型预训练 |
20220301.fr |
法语 | 15 | 2,402,095 | 7.38 GB | 法语模型预训练 |
20220301.it |
意大利语 | 10 | 1,743,035 | 4.54 GB | 意大利语模型预训练 |
20220301.simple |
简易英语 | 1 | 205,328 | 235 MB | 教学、小规模实验 |
20220301.frr |
北弗里西亚语 | 1 | 15,199 | 9.13 MB | 小语种研究 |
选型建议:
- 🏫 做教学演示或小规模实验 → 选
20220301.simple或20220301.frr,几十 MB 到几百 MB 即可完成下载; - 🤖 预训练通用语言模型 → 首选
20220301.en,文章量最大(645 万篇); - 🌍 多语言 / 跨语言任务 → 搭配使用
en、de、fr等多个配置构建语料池; - 📊 论文复现 → 注意引用时说明配置名,保证与预处理好快照一致。
四、300+ 语言代码怎么选?
数据集支持的语言清单定义在 wikipedia.py 的 WIKIPEDIA_LANGUAGES 列表中(与 README.md 的 config_names 一一对应),共 300 个语言代码。
常用语言代码速查表
| 代码 | 语言 | 代码 | 语言 |
|---|---|---|---|
en |
英语 | de |
德语 |
zh |
中文(简体) | ja |
日语 |
fr |
法语 | ko |
韩语 |
es |
西班牙语 | ru |
俄语 |
pt |
葡萄牙语 | ar |
阿拉伯语 |
it |
意大利语 | hi |
印地语 |
nl |
荷兰语 | vi |
越南语 |
pl |
波兰语 | th |
泰语 |
特殊代码需要注意 ⚠️
simple:不是普通语言代码,而是 Simple English Wikipedia(简易英语维基),文章词汇和句式经过简化,适合教学和初学;- 带连字符的 BCP-47 代码:如
nds-nl(低地荷兰语-荷兰变体)、zh-yue(粤语)、zh-classical(文言/古典中文)、zh-min-nan(闽南语)、bat-smg(西白俄罗斯语)——下载时程序会自动把-转换为_构造 URL(见 wikipedia.py); - 易混淆代码:
no(挪威语)≠nn(书面挪威语新变体)≠nb;zh是简体中文,zh-yue才是粤语,两者独立; - 小语种:如
frr(北弗里西亚语)、lfn(世界语族的 Lingua Franca Nova)等,文章量可能只有几千篇,训练大模型前请先评估语料规模。
📌 不确定语言代码?维基百科的语言代码通常就是其站点域名前缀,例如德语维基是
de.wikipedia.org,对应代码即de。
五、20220301 版本日期怎么选?
日期参数遵循 YYYYMMDD 格式,决定从哪一天的维基百科快照提取数据:
| 场景 | 推荐日期 | 说明 |
|---|---|---|
| 使用预处理好配置 | 固定 20220301 |
6 个预处理好配置均为 2022-03-01 快照,无法更换日期 |
| 自行下载解析 | 任意 dump 日期 | 需先确认目标日期的 dump 已完成(status == done,校验逻辑见 wikipedia.py) |
| 跨时间对比研究 | 多个日期 | 可对比不同年份维基百科内容变化 |
默认日期 20220301 在代码中通过 _DATE = "20220301" 常量设定(wikipedia.py),也是全部预处理好配置的统一基准——如果你的实验需要与社区结果对齐,优先使用 20220301 快照,保证语料一致性。
六、数据字段与使用注意
无论选择哪个配置,每条样本都包含相同的 4 个字段(定义见 wikipedia.py):
| 字段 | 类型 | 说明 |
|---|---|---|
id |
str | 文章 ID |
url |
str | 文章在维基百科上的 URL |
title |
str | 文章标题 |
text |
str | 清洗后的正文内容 |
使用前请注意:
- 许可证:数据采用 CC BY-SA 3.0 与 GFDL 双许可证,商用或再分发需遵守署名-相同方式共享条款(详见 README.md 的 Licensing Information 章节);
- 仅含 train 划分:该数据集没有官方 test 集,评测需自行切分或搭配其他数据集;
- 磁盘空间:
20220301.en下载约 11.69 GB,生成后约 20.28 GB,总计需约 32 GB 磁盘,下载前务必预留空间; - 小语种慎选:未预处理好的小语种需要本地解析全量 XML dump,耗时较长,建议先估算 dump 大小。
七、常见问题 FAQ
Q1:加载时报错 "dump status is not done" 怎么办?
指定的 language + date 组合对应的维基百科 dump 尚未完成或未生成。请更换为已完成的 dump 日期,或改用 6 个预处理好配置之一。
Q2:20220301.en 和 language="en", date="20220301" 有什么区别?
前者直接加载 HuggingFace 已处理好的 parquet 分片,开箱即用;后者会下载原始 XML dump 并本地重新解析,耗时更长,且仅在预处理好配置之外才必须使用此方式。
Q3:想训练中文模型,应该选哪个配置?
选择 20220301.zh(简体中文)。注意它不在 6 个预处理好配置之列,首次加载需要自行下载解析;若只需小规模实验,可先用 20220301.simple 验证流程。
Q4:300 个语言代码在哪里查完整列表?
完整清单见 wikipedia.py 的 WIKIPEDIA_LANGUAGES 常量,或 README.md frontmatter 中的 config_names 字段,两者内容完全一致。
总结:为 wikipedia 数据集选型只需记住三步——① 优先从 6 个 20220301.* 预处理好配置中选择,小实验选 simple、大模型选 en;② 其他语言按"站点前缀即语言代码"的规则确定 language 参数;③ 日期保持默认的 20220301 以保证与社区结果对齐。掌握这套方法,你就能在 300+ 语言中快速挑到最适合自己任务的那份语料。