wikipedia数据集如何选择语言配置:300+语言代码与20220301版本日期选择指南

原创2026-10-18 14:01:361,698 阅读
文章标签:数据集

wikipedia数据集如何选择语言配置:300+语言代码与20220301版本日期选择指南

wikipedia数据集(Wikipedia dataset)是 HuggingFace datasets 库中最受欢迎的多语言文本数据集之一:它基于维基百科官方 dump 构建,每篇文章经过清洗(去除 Markdown、引用、表格等噪音),按语言代码和版本日期划分成独立配置,覆盖 300 余种语言,广泛用于语言建模(language modeling)与掩码语言建模(masked language modeling)。本文将从配置命名规则、语言代码选择、20220301 日期含义三个维度,给新手一份完整的选型指南。

一、先搞懂配置命名规则:日期.语言

使用 wikipedia 数据集时,所有配置名都遵循统一的命名格式:

{date}.{language}

以最常见的 20220301.en 为例:

部分 含义 示例
20220301 数据来源的维基百科 dump 日期,格式为 YYYYMMDD 2022-03-01 的快照
en 语言代码(Wikipedia 站点代码) 英文

这个规则直接定义在 wikipedia.py 的 WikipediaConfig 类中——配置名就是 f"{date}.{language}" 拼接而成。

💡 新手要点:日期不是"版本",而是快照日期。不同日期对应不同时间点的维基百科内容;语言代码决定下载哪个语言站点的文章。

二、两种加载方式:预处理好 vs 现下载解析

根据 README.md 的 Dataset Card 说明,wikipedia 数据集支持两种加载路径:

方式一:加载预处理好配置(推荐新手)

HuggingFace 已经预先处理好了 6 个子集,直接按配置名加载,无需本地解析,速度快、可复现:

load_dataset("wikipedia", "20220301.en")

方式二:任意语言 + 任意日期组合

对于未预处理好的语言,可以指定 language 和 date 参数,数据集会自动从维基百科 dump 下载 XML 并在本地解析清洗:

load_dataset("wikipedia", language="sw", date="20220120")

⚡ 提示:本地处理时可以在 load_dataset 中指定 num_proc= 参数来并行生成数据集,显著加快处理速度。

对应的原始数据分片存放在 data/ 目录下的各语言子目录中,例如 data/20220301.en/、data/20220301.de/,每个 parquet 分片以 train-00000-of-00041.parquet 这样的命名保存。

三、6 个预处理好配置怎么选?

目前预处理好(pre-processed)的配置共 6 个,完整清单记录在 wikipedia.py 的 PROCESSED_CONFIG_TO_NUM_SHARDS 中:

配置名 语言 分片数 文章数 处理后体积 适合场景
20220301.en 英语 41 6,458,670 20.28 GB 通用语言模型、GPT 类预训练
20220301.de 德语 18 2,665,357 8.91 GB 德语模型预训练
20220301.fr 法语 15 2,402,095 7.38 GB 法语模型预训练
20220301.it 意大利语 10 1,743,035 4.54 GB 意大利语模型预训练
20220301.simple 简易英语 1 205,328 235 MB 教学、小规模实验
20220301.frr 北弗里西亚语 1 15,199 9.13 MB 小语种研究

选型建议:

  • 🏫 做教学演示或小规模实验 → 选 20220301.simple 或 20220301.frr,几十 MB 到几百 MB 即可完成下载;
  • 🤖 预训练通用语言模型 → 首选 20220301.en,文章量最大(645 万篇);
  • 🌍 多语言 / 跨语言任务 → 搭配使用 en、de、fr 等多个配置构建语料池;
  • 📊 论文复现 → 注意引用时说明配置名,保证与预处理好快照一致。

四、300+ 语言代码怎么选?

数据集支持的语言清单定义在 wikipedia.py 的 WIKIPEDIA_LANGUAGES 列表中(与 README.md 的 config_names 一一对应),共 300 个语言代码。

常用语言代码速查表

代码 语言 代码 语言
en 英语 de 德语
zh 中文(简体) ja 日语
fr 法语 ko 韩语
es 西班牙语 ru 俄语
pt 葡萄牙语 ar 阿拉伯语
it 意大利语 hi 印地语
nl 荷兰语 vi 越南语
pl 波兰语 th 泰语

特殊代码需要注意 ⚠️

  • simple:不是普通语言代码,而是 Simple English Wikipedia(简易英语维基),文章词汇和句式经过简化,适合教学和初学;
  • 带连字符的 BCP-47 代码:如 nds-nl(低地荷兰语-荷兰变体)、zh-yue(粤语)、zh-classical(文言/古典中文)、zh-min-nan(闽南语)、bat-smg(西白俄罗斯语)——下载时程序会自动把 - 转换为 _ 构造 URL(见 wikipedia.py);
  • 易混淆代码:no(挪威语)≠ nn(书面挪威语新变体)≠ nb;zh 是简体中文,zh-yue 才是粤语,两者独立;
  • 小语种:如 frr(北弗里西亚语)、lfn(世界语族的 Lingua Franca Nova)等,文章量可能只有几千篇,训练大模型前请先评估语料规模。

📌 不确定语言代码?维基百科的语言代码通常就是其站点域名前缀,例如德语维基是 de.wikipedia.org,对应代码即 de。

五、20220301 版本日期怎么选?

日期参数遵循 YYYYMMDD 格式,决定从哪一天的维基百科快照提取数据:

场景 推荐日期 说明
使用预处理好配置 固定 20220301 6 个预处理好配置均为 2022-03-01 快照,无法更换日期
自行下载解析 任意 dump 日期 需先确认目标日期的 dump 已完成(status == done,校验逻辑见 wikipedia.py)
跨时间对比研究 多个日期 可对比不同年份维基百科内容变化

默认日期 20220301 在代码中通过 _DATE = "20220301" 常量设定(wikipedia.py),也是全部预处理好配置的统一基准——如果你的实验需要与社区结果对齐,优先使用 20220301 快照,保证语料一致性。

六、数据字段与使用注意

无论选择哪个配置,每条样本都包含相同的 4 个字段(定义见 wikipedia.py):

字段 类型 说明
id str 文章 ID
url str 文章在维基百科上的 URL
title str 文章标题
text str 清洗后的正文内容

使用前请注意:

  1. 许可证:数据采用 CC BY-SA 3.0 与 GFDL 双许可证,商用或再分发需遵守署名-相同方式共享条款(详见 README.md 的 Licensing Information 章节);
  2. 仅含 train 划分:该数据集没有官方 test 集,评测需自行切分或搭配其他数据集;
  3. 磁盘空间:20220301.en 下载约 11.69 GB,生成后约 20.28 GB,总计需约 32 GB 磁盘,下载前务必预留空间;
  4. 小语种慎选:未预处理好的小语种需要本地解析全量 XML dump,耗时较长,建议先估算 dump 大小。

七、常见问题 FAQ

Q1:加载时报错 "dump status is not done" 怎么办? 指定的 language + date 组合对应的维基百科 dump 尚未完成或未生成。请更换为已完成的 dump 日期,或改用 6 个预处理好配置之一。

Q2:20220301.en 和 language="en", date="20220301" 有什么区别? 前者直接加载 HuggingFace 已处理好的 parquet 分片,开箱即用;后者会下载原始 XML dump 并本地重新解析,耗时更长,且仅在预处理好配置之外才必须使用此方式。

Q3:想训练中文模型,应该选哪个配置? 选择 20220301.zh(简体中文)。注意它不在 6 个预处理好配置之列,首次加载需要自行下载解析;若只需小规模实验,可先用 20220301.simple 验证流程。

Q4:300 个语言代码在哪里查完整列表? 完整清单见 wikipedia.py 的 WIKIPEDIA_LANGUAGES 常量,或 README.md frontmatter 中的 config_names 字段,两者内容完全一致。


总结:为 wikipedia 数据集选型只需记住三步——① 优先从 6 个 20220301.* 预处理好配置中选择,小实验选 simple、大模型选 en;② 其他语言按"站点前缀即语言代码"的规则确定 language 参数;③ 日期保持默认的 20220301 以保证与社区结果对齐。掌握这套方法,你就能在 300+ 语言中快速挑到最适合自己任务的那份语料。

登录后查看全文
wikipedia