llama2.rs 的安装和配置教程

2025-05-20 22:39:11作者：秋泉律Samson

项目基础介绍

llama2.rs 是一个将 Karpathy 的 llama2.c 项目用 Rust 语言重写的版本。它旨在提供一个纯 Rust 实现的 Llama 2 模型推理工具，旨在探索 Rust 语言在深度学习模型推理方面的性能和可用性。该项目的主要编程语言是 Rust，同时也使用了 Python 和 C 的一些元素。

项目使用的关键技术和框架

Rust: 主要编程语言，用于实现模型的推理功能。
Python: 用于处理一些辅助任务，例如模型的转换和数据的准备。
C: 在某些特定部分，例如与底层系统的交互中可能使用到 C 语言。

安装和配置准备工作

在开始安装之前，请确保您的系统中已经安装了以下工具：

Rust 开发环境，包括 rustc（Rust 编译器）和 cargo（Rust 的包管理器和构建工具）。
Python 环境，建议安装 Python 3.x 版本。
Make 工具，用于构建项目。

安装步骤

克隆项目仓库

打开终端或命令提示符，然后运行以下命令来克隆项目仓库：
```
git clone https://github.com/gaxler/llama2.rs.git
cd llama2.rs
```
安装依赖

在项目根目录中，运行以下命令来安装 Python 依赖：
```
pip install -r requirements.txt
```
编译项目

使用 Cargo 来编译 Rust 代码。首先，编译单线程版本：
```
cargo build --release
```
如果您希望使用多线程来加速推理，请先安装 Rayon：
```
cargo install rayon
```
然后，编译多线程版本：
```
cargo run --release -F parallel
```
下载预训练模型

根据项目的要求，您需要下载预训练的 Llama 2 模型。可以通过下面的命令下载不同大小的模型：
```
wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin
wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories42M.bin
wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories110M.bin
```
注意：这里仅提供了下载命令的示例，实际操作时应根据模型的具体链接进行下载。
运行项目

使用以下命令运行单线程版本的推理：
```
./target/release/llama2-rs stories42M.bin 0.9
```
其中，stories42M.bin 是模型的文件名，0.9 是推理时使用的温度参数。

对于多线程版本，命令会是：
```
./target/release/llama2-rs -F parallel stories42M.bin 0.9
```