WP2TXT 使用教程

1. 项目介绍

WP2TXT 是一个命令行工具包，用于从 Wikipedia 的 XML 转储文件中提取文本内容和类别数据。它能够移除 MediaWiki 标记和其他元数据，支持多种语言版本的 Wikipedia 文件。

2. 项目快速启动

安装 WP2TXT

首先，确保你的系统中已经安装了 bzip2 或 lbzip2（推荐），这是为了解压 Wikipedia 的 XML 转储文件。

在 MacOS 上：

$ brew install lbzip2

在 Linux 上：

$ sudo apt-get install lbzip2

在 Windows 上：

安装 Bzip2 for Windows 并确保 bunzip2.exe 命令的路径可访问。

接下来，安装 WP2TXT：

$ gem install wp2txt

基本使用

假设你有一个包含 Wikipedia 转储文件和空子文件夹的目录结构如下：

.
├── enwiki-20220801-pages-articles.xml.bz2
├── /xml
├── /text
├── /category
└── /summary

解压和分割

以下命令将解压整个 Wikipedia 数据并将其分割成多个小文件（大约 10 MB）：

$ wp2txt --no-convert -i ./enwiki-20220801-pages-articles.xml.bz2 -o ./xml

从 MediaWiki XML 提取纯文本

$ wp2txt -i ./xml -o ./text

仅提取类别信息

$ wp2txt -g -i ./xml -o ./category

提取开头段落

$ wp2txt -s -i ./xml -o ./summary

直接从压缩文件提取

尽管不推荐，但你可以使用一行命令来完成解压、分割和提取：

$ wp2txt -i ./enwiki-20220801-pages-articles.xml.bz2 -o ./text -x

3. 应用案例和最佳实践

• 数据清理：在处理大量 Wikipedia 数据时，WP2TXT 可用于清理和格式化数据，以便进一步分析或导入到其他系统中。
• 文本挖掘：研究人员可以使用 WP2TXT 提取的数据进行文本挖掘和自然语言处理任务。

4. 典型生态项目

目前，WP2TXT 的典型生态项目包括但不限于：

• 数据集构建：构建大规模文本数据集，用于机器学习和自然语言处理研究。
• 知识库构建：利用提取的 Wikipedia 数据构建结构化知识库。