如何快速上手DeepInfer:从环境搭建到首次离线推理的5步完整教程

原创2026-10-22 13:08:062,244 阅读
文章标签:人工智能大模型模型推理服务推理引擎DeepSeek

如何快速上手DeepInfer:从环境搭建到首次离线推理的5步完整教程

DeepInfer 是 DeepSeek 团队开源的高性能、大规模 LLM 推理框架,专为 DeepSeek 系列模型打造,提供离线推理所需的完整核心能力。本教程将带你用 5 个步骤,从零完成环境搭建,并跑通第一次 DeepSeek-V4.1-Flash 离线推理,让你快速掌握这个生产级推理引擎的使用方法。

🧭 先认识 DeepInfer:核心功能一览

DeepInfer 面向大规模部署场景,内置多项经过生产验证的推理加速能力:

  • 优化算子:FlashMLA、DeepGEMM、DeepEP、TileLang 等高性能内核
  • 多维并行:Attention DP / 均衡 CP、MoE EP + EPLB 专家负载均衡
  • DSpark 与置信度调度验证:通过 draft tokens 加速解码
  • 异步调度:零开销批调度器,CPU 调度与设备执行重叠
  • 批量不变推理与确定性采样:不同 batch 组合下结果一致、可复现
  • 结构化输出:支持正则、JSON Schema、EBNF 文法约束生成

目前支持的模型为 DeepSeek-V4.1-Flash,支持 NVIDIA SM100 GPU 与 华为 Ascend 950 NPU 两类硬件。

第 1 步:确认硬件与系统环境 🛠️

在开始之前,请先对照下表确认你的环境满足要求(详见 README.md):

项目 NVIDIA 平台 Ascend 平台
操作系统 Linux Linux
编译器 GCC >= 13.0 GCC >= 13.0
Python 3.12 3.12
加速栈 CUDA 13 CANN 9.2
硬件 NVIDIA SM100 GPU Huawei Ascend 950 NPU

💡 提示:DeepInfer 依赖 C++ 扩展编译,请务必确认 GCC 版本不低于 13.0。

第 2 步:获取 DeepInfer 源码 📥

使用 git 克隆仓库(含构建所需的 vendor 子模块):

git clone https://gitcode.com/gh_mirrors/de/DeepInfer
cd DeepInfer

克隆完成后,你可以先浏览一下 examples/README.md 了解全部示例脚本的用法。

第 3 步:配置 Python 3.12 环境并构建 ⚙️

DeepInfer 需要在一个干净的 Python 3.12 环境中构建。建议用 conda 或 venv 创建独立环境:

# 创建并激活一个空的 Python 3.12 环境
conda create -n deepinfer python=3.12 -y
conda activate deepinfer

然后设置加速器类型(Ascend 平台请改用 ascend),并执行构建脚本 build.sh:

export DEEPINFER_ACCELERATOR=nvidia
./build.sh

该脚本会依次完成:安装 requirements-nvidia.txt 中的依赖(含 torch、flash-attn 等)→ 编译 vendor 算子 → 编译 DeepInfer C++ 扩展。Ascend 平台则使用 export DEEPINFER_ACCELERATOR=ascend。

也可以使用 Makefile 中的快捷目标:

make build-nvidia    # 或 make build-ascend

⏱️ 首次构建需要编译多个高性能内核,耗时较长属正常现象,请耐心等待。

第 4 步:运行首次离线推理 🚀

构建成功后,一条命令即可跑通离线推理:

python examples/offline_inference.py

第一次运行时,默认模型 deepseek-ai/DeepSeek-V4.1-Flash-1017 会自动下载到本地 Hugging Face 缓存;如果你已有本地权重副本,可通过环境变量指定,免去下载:

export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017
python examples/offline_inference.py

运行结束后,终端会打印每个样本的输入描述、生成结果、accept_rate(draft token 接受率)和 decode_ppl 指标,看到这些输出就说明你的 DeepInfer 环境完全跑通了!核心入口类位于 deepinfer/entrypoints/llm.py,公共配置逻辑在 examples/_config.py。

第 5 步:调整并行参数,匹配你的硬件 🎛️

DeepInfer 通过 --ep(专家并行)、--cp(上下文并行)、--dp(数据并行)三个参数控制并行策略,可按 GPU 数量灵活组合:

# 8 卡专家并行
python examples/offline_inference.py --ep 8

# 2 卡专家并行 + 8 路数据并行
python examples/offline_inference.py --ep 2 --dp 8

# 2 卡专家并行 + 8 路上下文并行
python examples/offline_inference.py --ep 2 --cp 8

📌 简单理解:--ep 把 MoE 专家切分到多卡,--dp 增加吞吐,--cp 扩展长上下文处理能力。单机默认会自动用满所有可见 GPU。

📈 DeepInfer 性能表现:吞吐与延迟的权衡

官方在 4×SM100(prefill)和 64 卡(decode)规模上给出了 Pareto 基准曲线,直观展示了吞吐与延迟/交互性之间的权衡:

DeepInfer prefill 推理吞吐与延迟权衡曲线

Prefill 阶段:单卡吞吐最高可达约 9 万 tokens/s/GPU,batch 越大吞吐越高,但单步延迟也相应增加。

DeepInfer decode 解码吞吐与单用户速度曲线

Decode 阶段:请求数越多,整体吞吐越高,但单用户生成速度会下降——你可以根据「高吞吐批处理」或「低延迟交互」的需求选取合适的工作点。复现方法见 examples/sweep/run_sweep.sh。

🖼️ 彩蛋:图文多模态推理

DeepInfer 的离线示例还支持图文混合输入。仓库自带的 VL 回归样本就用到了 examples/images/ 下的两张图片——一根胡萝卜和一碗肋排:

DeepInfer 多模态推理示例输入图片:胡萝卜

DeepInfer 多模态推理示例输入图片:猪肋排

示例脚本会用这两张图构造单图、多图和多图 few-shot 等不同类型的 VL 请求,配套的 Q&A 文本内联在 examples/_prompts.py 中。

❓ 常见问题速答

  • 显存不足(OOM)? 可降低 LLM 构造时的 gpu_memory_utilization 参数(见 examples/offline_inference.py 中默认 0.85)。
  • 想验证模型正确性? 运行 python -m pytest -v -s tests,PPL 基线保存在 tests/models/offline_decode_ppl.json。
  • 评估能力? 仓库内置 AIME、GPQA、HLE 等评测脚本,说明见 eval/README.md。
  • Ascend 平台调试困难? 可设置 ASCEND_LAUNCH_BLOCKING=1 和 ASCEND_SLOG_PRINT_TO_STDOUT=1 同步算子并输出日志。

✅ 小结

只需 5 步,你就完成了 DeepInfer 从环境搭建到首次离线推理的完整流程:确认环境 → 克隆源码 → 构建 → 跑通推理 → 调优并行参数。作为一款为大规模生产服务打磨的推理框架,DeepInfer 还内置了 EPLB、异步调度、结构化输出等进阶能力,值得你在业务落地前深入探索。

登录后查看全文
DeepInfer