WP2TXT 项目安装与配置指南

1. 项目基础介绍

WP2TXT 是一个命令行工具，用于从 Wikipedia 的 XML 格式压缩文件中提取文本内容和分类数据。它能够去除 MediaWiki 的标记和其他元数据，生成纯文本文件。该项目主要使用 Ruby 语言开发。

2. 关键技术和框架

该项目主要使用了以下技术和框架：

• Ruby：作为主要的开发语言。
• Rake：用于构建和自动化项目任务。
• Docker：提供容器化支持，方便在多种环境中使用。

3. 安装和配置准备工作

在开始安装前，请确保您的系统满足以下要求：

• Ruby 环境安装（建议版本 >= 2.5.0）。
• 若在 Windows 系统，需要安装 Bzip2 解压缩工具。
• 若在 MacOS 系统，推荐安装 lbzip2（通过 brew install lbzip2）。
• 若在 Linux 系统，确保已安装 lbzip2、pbzip2 或 bzip2 中的至少一个。

详细安装步骤

步骤 1：安装 Ruby

根据您的操作系统，从官方网站下载并安装 Ruby。确保安装后，在命令行中输入 ruby -v 能够显示 Ruby 版本信息。

步骤 2：安装 WP2TXT

在命令行中执行以下命令安装 WP2TXT：

gem install wp2txt

步骤 3：获取 Wikipedia 数据文件

从 Wikipedia 的官方数据下载页面（https://dumps.wikimedia.org/）下载所需语言的数据文件。文件名格式通常为 xxwiki-yyyymmdd-pages-articles.xml.bz2，其中 xx 是语言代码（如 en 代表英文），yyyymmdd 是数据文件的生成日期。

步骤 4：解压缩 Wikipedia 数据文件

使用以下命令解压缩下载的数据文件：

lbzip2 -d enwiki-20220801-pages-articles.xml.bz2

或者如果您使用的是 bzip2：

bzip2 -d enwiki-20220801-pages-articles.xml.bz2

步骤 5：使用 WP2TXT 提取数据

解压缩后，使用 WP2TXT 将 XML 文件转换为纯文本：

wp2txt -i enwiki-20220801-pages-articles.xml -o output_directory

其中 output_directory 是您希望存储输出文件的目录。

步骤 6：（可选）使用 Docker

若要使用 Docker 容器运行 WP2TXT，首先确保安装了 Docker Desktop。然后，执行以下命令：

docker run -it -v /path/to/local/data:/data yohasebe/wp2txt

确保将 /path/to/local/data 替换为您本地数据目录的路径。

以上就是 WP2TXT 的详细安装和配置指南。按照这些步骤操作，您应该能够成功安装 WP2TXT 并开始从 Wikipedia 数据中提取文本和分类信息。