BERT.cpp 项目下载及安装教程

1. 项目介绍

BERT.cpp 是一个基于 ggml 实现的 BERT 模型推理库，支持在 CPU 上使用 4 位整数量化运行 BERT 模型。该项目提供了一个纯 C/C++ 的实现，无需依赖其他库，并且继承了 ggml 对多种架构（如 x86 带 AVX2、ARM 等）的支持。用户可以选择不同位宽的模型权重，例如 32/16/4 位，其中 4 位量化的 all-MiniLM-L6-v2 模型大小仅为 14MB。此外，BERT.cpp 还提供了通过 TCP 套接字进行推理的示例服务器和 Python 测试客户端。

2. 项目下载位置

项目托管在 GitHub 上，可以通过以下命令进行克隆：

git clone https://github.com/skeskinen/bert.cpp.git

3. 项目安装环境配置

3.1 系统要求

• 操作系统：Linux 或 macOS（Windows 用户需使用 WSL）
• 编译器：支持 C++11 的编译器（如 GCC 或 Clang）
• Python 3.x

3.2 依赖安装

在开始安装之前，请确保已安装以下依赖：

• CMake
• Python 3.x
• pip

3.2.1 安装 CMake

在 Ubuntu 或 Debian 系统上，可以使用以下命令安装 CMake：

sudo apt-get update
sudo apt-get install cmake

在 macOS 上，可以使用 Homebrew 安装 CMake：

brew install cmake

3.2.2 安装 Python 3.x 和 pip

在 Ubuntu 或 Debian 系统上，可以使用以下命令安装 Python 3.x 和 pip：

sudo apt-get update
sudo apt-get install python3 python3-pip

在 macOS 上，可以使用 Homebrew 安装 Python 3.x：

brew install python3

3.3 环境配置示例

以下是环境配置的示例截图：

4. 项目安装方式

4.1 克隆项目

首先，克隆 BERT.cpp 项目到本地：

git clone https://github.com/skeskinen/bert.cpp.git
cd bert.cpp

4.2 初始化子模块

BERT.cpp 依赖于 ggml 子模块，因此需要初始化并更新子模块：

git submodule update --init --recursive

4.3 下载模型

使用 Python 脚本下载所需的模型：

pip3 install -r requirements.txt
python3 models/download-ggml.py list_models
python3 models/download-ggml.py download all-MiniLM-L6-v2 q4_0

4.4 构建项目

4.4.1 构建动态库（用于 Python 调用）

mkdir build
cd build
cmake -DBUILD_SHARED_LIBS=ON -DCMAKE_BUILD_TYPE=Release ..
make

4.4.2 构建静态库（用于本地运行）

mkdir build
cd build
cmake -DBUILD_SHARED_LIBS=OFF -DCMAKE_BUILD_TYPE=Release ..
make

5. 项目处理脚本

5.1 运行 Python 动态库示例

python3 examples/sample_dylib.py models/all-MiniLM-L6-v2/ggml-model-f16.bin

5.2 启动示例服务器

./build/bin/server -m models/all-MiniLM-L6-v2/ggml-model-q4_0.bin --port 8085

5.3 运行示例客户端

python3 examples/sample_client.py 8085

通过以上步骤，您可以成功下载、安装并运行 BERT.cpp 项目。