DeepMath 项目使用教程

1. 项目介绍

DeepMath 是一个大规模、具有挑战性、经过净化处理和可验证的数学数据集，旨在推动语言模型的推理能力。该数据集包含了不同难度级别的数学问题，涵盖了代数、微积分、数论、几何、概率以及离散数学等多个学科领域，为研究者和开发者提供了一个丰富的资源。

2. 项目快速启动

环境准备

首先，需要克隆项目仓库并设置运行环境：

git clone --recurse-submodules https://github.com/zwhe99/DeepMath.git
cd DeepMath
conda create -y -n deepmath python=3.12.2
conda activate deepmath

安装依赖

接着，安装必要的依赖库：

pip3 install ray[default]
pip3 install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1
pip3 install flash-attn==2.7.4.post1 --no-build-isolation
pip3 install omegaconf==2.4.0.dev1 hydra-core==1.4.0.dev1 antlr4-python3-runtime==4.11.0 vllm==0.7.3
pip3 install math-verify[antlr4_11_0]==0.7.0 fire deepspeed tensorboardX prettytable datasets transformers==4.49.0
pip3 install -e verl

评估模型

启动一个模型评估的示例：

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 VLLM_ATTENTION_BACKEND=XFORMERS VLLM_USE_V1=1 VLLM_WORKER_MULTIPROC_METHOD=spawn python3 uni_eval.py \
--base_model zwhe99/DeepMath-Zero-7B \
--chat_template_name orz \
--system_prompt_name simplerl \
--output_dir \
--bf16 True \
--tensor_parallel_size 8 \
--data_id zwhe99/MATH \
--split math500 \
--max_model_len 32768 \
--temperature 0.6 \
--top_p 0.95 \
--n 16

训练模型

准备数据：

DATA_DIR=/path/to/your/data
python3 verl/examples/data_preprocess/deepmath_103k.py --local_dir $DATA_DIR

启动 Ray：

# Head node (×1)
ray start --head --port=6379 --node-ip-address=$HEAD_ADDR --num-gpus=8
# Worker nodes (×7)
ray start --address=$HEAD_ADDR:6379 --node-ip-address=$WORKER_ADDR --num-gpus=8

在 Head 节点上启动训练，具体训练脚本位于 scripts/train 目录下。

3. 应用案例和最佳实践

• 案例一：利用 DeepMath 数据集对数学解题模型进行微调，提升模型在数学问题上的解答能力。
• 案例二：结合强化学习，使用 DeepMath 数据集对模型进行推理能力训练。

4. 典型生态项目

目前，DeepMath 数据集已被用于多个相关研究项目，包括但不限于：

• 数学解题模型：如 DeepMath-Zero-7B 和 DeepMath-1.5B，这些模型在多个数学竞赛和实际应用中取得了优异的性能。
• 知识蒸馏：通过 DeepMath 数据集对已有模型进行知识蒸馏，提升其数学推理能力。

以上就是 DeepMath 项目的基本使用教程，希望通过这份文档，您能快速上手并开始您的数学推理研究。