TokenSwift 的安装和配置教程

1. 项目基础介绍和主要编程语言

TokenSwift 是一个开源项目，旨在为超长序列生成提供无损失加速框架，最长可达 100K tokens，同时保持目标模型的输出质量。此项目通过优化序列生成过程中的计算方式，将生成时间从小时级别降低至分钟级别。该项目主要使用 Python 编程语言，同时涉及到 Shell 脚本的使用。

2. 项目使用的关键技术和框架

TokenSwift 使用了以下关键技术和框架：

• Transformer 模型：作为序列生成的基础模型，TokenSwift 对其进行了优化。
• 树状注意力机制：通过树状结构加速注意力计算。
• n-gram 表：用于检索 top-k 候选 n-grams。
• HuggingFace 模型适配器：使得 TokenSwift 可以与大多数 HuggingFace 模型配合使用。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

在开始安装 TokenSwift 之前，请确保您的系统中已经安装了以下环境和依赖：

• Python 3.11
• CUDA (用于 GPU 加速，如果使用 GPU)
• Git

安装步骤

以下是 TokenSwift 的详细安装步骤：

1. 克隆项目仓库：

   git clone https://github.com/bigai-nlco/TokenSwift.git
   cd TokenSwift
   

2. 创建并激活一个新的 Conda 环境：

   conda create -n tokenswift python=3.11
   conda activate tokenswift
   

3. 安装项目依赖：

   conda install nvidia::cuda-nvcc
   pip install -r requirements.txt
   pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.4.post1/flash_attn-2.7.4.post1+cu12torch2.4cxx11abiFALSE-cp311-cp311-linux_x86_64.whl
   

4. 根据项目文档中的说明，下载相应的预训练模型并放置到指定路径。

5. 运行示例推理脚本（以 LLaMA3.1-8B 为例）：

   torchrun --master-port 1111 --nproc_per_node=1 main.py \
   --model_type llama3_1 \
   --ckpt_path your_checkpoint_path \
   --prefill_len 4096 \
   --retrival_max_budget 4096 \
   --gen_len 102400 \
   --gamma 4 \
   --min_p 0.1 \
   --temperature 1.0 \
   --tree_decoding \
   --ngram_topk 20 \
   --penalty 1.2 \
   --penalty_length 1024 \
   --prompt_id 0
   

   注意：请替换 your_checkpoint_path 为你的实际模型检查点路径。

完成以上步骤后，您应该能够成功安装并运行 TokenSwift 项目。