DEER 的安装和配置教程

1. 项目的基础介绍和主要的编程语言

DEER（Dynamic Early Exit in Reasoning）是一个为大型推理语言模型设计的动态早期退出方法。该方法通过监控模型在潜在的推理转换点上的行为，当模型对一个试验答案表现出高度自信时，动态地终止下一个推理链的生成。根据项目描述，DEER 在 11 个领先推理 LLMs 的不同系列和大小上均表现出持续的有效性，平均减少了 19.1% - 80.1% 的 CoT 序列长度，同时提高了 0.3% - 5.0% 的准确性。

该项目主要使用 Python 编程语言。

2. 项目使用的关键技术和框架

DEER 使用了以下关键技术和框架：

• vLLM: 一个用于高效推理的语言模型框架。
• HuggingFace Transformers: 一个流行的自然语言处理库，用于训练和推理。

3. 项目安装和配置的准备工作和详细的安装步骤

准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖：

• Python 3.7 或更高版本
• pip（Python 包管理器）
• CUDA（如果使用 GPU 进行加速）

安装步骤

1. 克隆项目仓库

   打开命令行工具，执行以下命令以克隆项目仓库：

   git clone https://github.com/iie-ycx/DEER.git
   cd DEER
   

2. 安装项目依赖

   在项目根目录下，运行以下命令安装项目所需的所有依赖项：

   pip install -r requirements.txt
   

3. 配置环境变量（可选）

   如果您使用 GPU，可能需要设置 CUDA_VISIBLE_DEVICES 环境变量来指定要使用的 GPU 设备。

   export CUDA_VISIBLE_DEVICES=1
   

4. 运行示例脚本

   根据您的模型选择，可以运行以下脚本来开始使用 DEER：

   • 对于大多数推理模型：

     python ../vllm-deer.py \
     --model_name_or_path "./DeepSeek-R1-Distill-Qwen-14B" \
     --dataset_dir "./data/" \
     --output_path "./outputs" \
     --dataset "math" \
     --threshold 0.95 \
     --max_generated_tokens 16000 \
     --think_ratio 0.6 \
     --batch_size 2000 \
     --policy avg1 \
     --dtype bfloat16 \
     --gpu-memory-utilization 0.9
     

   • 对于 Qwen3 模型：

     python ../vllm-deer-qwen3.py \
     --model_name_or_path "./Qwen3-4B" \
     --dataset_dir "./data/" \
     --output_path "./outputs" \
     --dataset "math" \
     --threshold 0.95 \
     --max_generated_tokens 16000 \
     --think_ratio 0.8 \
     --batch_size 2000 \
     --dtype bfloat16 \
     --policy avg2 \
     --gpu-memory-utilization 0.9
     

以上就是 DEER 的安装和配置指南，按照以上步骤操作，您应该能够成功安装并运行该项目。