Qwen.cpp 项目下载及安装教程

1. 项目介绍

Qwen.cpp 是一个基于 C++ 实现的 Qwen-LM 模型，旨在为 MacBook 提供实时聊天功能。该项目的主要特点包括：

• 纯 C++ 实现，基于 ggml，与 llama.cpp 工作方式相同。
• 纯 C++ 实现的 tiktoken。
• 支持流式生成，带有打字机效果。
• 提供 Python 绑定。

2. 项目下载位置

要下载 Qwen.cpp 项目，请执行以下命令：

git clone --recursive https://github.com/QwenLM/qwen.cpp.git
cd qwen.cpp

如果忘记添加 --recursive 标志，可以在项目目录下运行以下命令：

git submodule update --init --recursive

3. 项目安装环境配置

3.1 环境要求

• 硬件：x86/arm CPU、NVIDIA GPU
• 平台：Linux、MacOS

3.2 环境配置示例

以下是 MacOS 环境配置的示例：

4. 项目安装方式

4.1 编译项目

使用 CMake 编译项目：

cmake -B build
cmake --build build -j --config Release

4.2 运行模型

编译完成后，可以通过以下命令运行量化后的 Qwen-7B-Chat 模型：

./build/bin/main -m qwen7b-ggml.bin --tiktoken Qwen-7B-Chat/qwen.tiktoken -p 你好

如果需要以交互模式运行，可以添加 -i 标志：

./build/bin/main -m qwen7b-ggml.bin --tiktoken Qwen-7B-Chat/qwen.tiktoken -i

5. 项目处理脚本

5.1 量化模型

使用 convert.py 脚本将 Qwen-LM 模型转换为量化 GGML 格式：

python3 qwen_cpp/convert.py -i Qwen/Qwen-7B-Chat -t q4_0 -o qwen7b-ggml.bin

5.2 Python 绑定

安装 Python 绑定：

pip install -U qwen-cpp

使用示例：

import tiktoken_cpp as tiktoken
enc = tiktoken.get_encoding("cl100k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"

通过以上步骤，您可以成功下载、安装并运行 Qwen.cpp 项目。