高性能优化版word2vec —— pWord2Vec

:warning: 重要通知 - 此项目已经由Intel停止维护，但如果你有兴趣独立开发或维护社区的开源软件版本，可以创建自己的fork。

pWord2Vec是一个针对Intel Xeon和Xeon Phi（Knights Landing）处理器优化的C++实现的word2vec工具。它引入了"HogBatch"并行随机梯度下降策略，如在NIPS工作坊论文中详细描述的那样：“Parallelizing Word2Vec in Multi-Core and Many-Core Architectures” 。此外，通过MPI进行数据并行化计算，可以在CPU集群上分布处理任务。

这个代码库是基于Google的原始word2vec实现构建的。

许可证

包中的所有源代码文件均遵循Apache License 2.0。

先决条件

以下软件依赖项需要在UNIX系统上安装：

• Intel Compiler（专为Intel CPU优化）
• OpenMP（在安装Intel编译器后即已包含）
• MKL（建议使用最新版本“16.0.0或更高”）
• MPI库，支持多线程（适用于分布式word2vec的Intel MPI、MPICH2或MVAPICH2）
• HyperWords（用于模型准确性的评估）
• Numactl包（对于多插槽NUMA系统）

环境设置

1. 安装Intel C++开发环境（包括Intel编译器、OpenMP、MKL"16.0.0或更高"以及iMPI。部分用户可以获得免费副本）
2. 启动Intel C++开发环境：

source /opt/intel/compilers_and_libraries/linux/bin/compilervars.sh intel64 （请指向你的安装路径）
source /opt/intel/impi/latest/compilers_and_libraries/linux/bin/compilervars.sh intel64 （请指向你的安装路径）

3. 安装numactl包：

sudo yum install numactl （在RedHat/Centos）
sudo apt-get install numactl （在Ubuntu）

快速启动

1. 下载代码：git clone https://github.com/IntelLabs/pWord2Vec
2. 运行.install.sh以构建包（例如，下载HyperWords并编译源代码。）
3. 获取数据：cd data; ./getText8.sh 或 ./getBillion.sh
4. 运行演示脚本：cd sandbox; ./run_single_text8.sh （单机示例）或 ./run_mpi_text8.sh （分布式w2v示例）
5. 在10亿词基准上运行：cd billion; ./run_single.sh (单机w2v) 或 ./run_mpi.sh (分布式w2v) (请设置ncores为你机器的逻辑核心数)
6. 评估模型：cd sandbox; ./eval.sh 或 cd billion; ./eval.sh

参考文献

1. Parallelizing Word2Vec in Shared and Distributed Memory，IEEE Transactions on Parallel and Distributed Systems (IEEE TPDS)，Vol. 30, No. 9, 2019年9月1日。
2. Parallelizing Word2Vec in Multi-Core and Many-Core Architectures，NIPS工作坊上的高效深度神经网络方法，2016年12月。

如有问题或发现bug，请访问https://grid.cs.gsu.edu/~sji/联系作者。

---

项目特点

1. 高性能优化：特别针对Intel Xeon和Xeon Phi处理器进行了优化，提供更快的训练速度。
2. 并行计算：采用"HogBatch"并行SGD算法，实现多核和多芯片架构下的高效并行处理。
3. MPI支持：通过MPI实现数据并行化，允许在CPU集群上执行大规模的分布式训练。
4. 便捷部署与评估：提供自动下载数据集、一键式训练和模型评估的脚本，方便快速测试和应用。
5. 广泛的应用场景：可用于自然语言处理的多个领域，如信息检索、情感分析、语义理解等。

无论你是研究者还是开发者，如果你想在大型文本数据集上快速训练高质量的词向量模型，pWord2Vec都是一个值得尝试的选择。它的高性能和并行化特性将帮助你在有限的时间内获得更深入的洞察力。