wikipedia-word-frequency 的安装和配置教程

1. 项目基础介绍和主要编程语言

wikipedia-word-frequency 是一个开源项目，旨在从网络百科文章中收集现代英语单词频率分布数据。该项目通过处理百科的文章转储（dump）文件，提取并统计单词出现的频率。主要编程语言为 Python。

2. 项目使用的关键技术和框架

该项目主要使用了以下技术和框架：

• Python 3：用于编写脚本，处理数据。
• wikiextractor：一个用于从百科XML转储中提取文本的工具。
• 正则表达式：用于文本处理和清洗。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

• Python 3（建议版本为3.7或更低，因为macOS上有已知的问题与Python 3.8相关）
• pip（Python 包管理器）

安装步骤

1. 克隆项目仓库

   打开命令行工具，使用以下命令克隆项目仓库：

   git clone https://github.com/IlyaSemenov/wikipedia-word-frequency.git
   

   克隆完成后，您会在当前目录下得到一个名为 wikipedia-word-frequency 的文件夹。

2. 安装依赖

   进入项目文件夹，使用以下命令安装项目所需的依赖：

   cd wikipedia-word-frequency
   pip install -r requirements.txt
   

   这将安装 requirements.txt 文件中列出的所有Python包。

3. 下载百科数据

   您需要下载百科的文章转储文件。以下命令将下载最新版本的英文百科文章转储文件：

   WIKI=enwiki
   wget -np -r --accept-regex "https:\/\/dumps\.wikimedia\.org\/${WIKI}\/latest\/${WIKI}-latest-pages-articles[0-9]*\.xml.bz2" https://dumps.wikimedia.org/${WIKI}/latest/
   

   请注意，这一步骤可能需要大量的磁盘空间（大约19GB）和较长的下载时间。

4. 解析数据并生成单词频率文件

   下载完成后，使用以下命令解析百科文章转储文件，并将结果保存到 wordfreq.txt 文件中：

   python ./gather_wordfreq.py dumps.wikimedia.org/${WIKI}/latest/*.bz2 > wordfreq.txt
   

   这个过程可能需要一些时间，具体取决于您的计算机性能和转储文件的大小。

完成以上步骤后，您就可以在 wordfreq.txt 文件中查看到生成的单词频率数据了。