在 Xinference 中部署 DeepSeek-Prover-V2:Lean 4 形式化定理证明模型的推理实践
在 Xinference 中部署 DeepSeek-Prover-V2:Lean 4 形式化定理证明模型的推理实践
本文以 Xinference 内置模型库中的 deepseek-prover-v2 条目为线索,系统讲解该模型的三档规格(671B / 7B pytorch、7B MLX 4bit)、支持的推理引擎(vLLM / Transformers / SGLang / MLX),并给出可直接复制的 xinference launch 启动命令与源码级实现依据。读完本文,你将能够根据硬件条件选择正确的 model spec,用一条命令完成 DeepSeek-Prover-V2 的部署与调用。
模型概览:为 Lean 4 形式化定理证明而生的 DeepSeek-Prover-V2
deepseek-prover-v2 是 Xinference 内置支持的 LLM 模型族之一,其官方描述(见 llm_family.json 与 deepseek-prover-v2.rst)指出:这是一款开源大型语言模型,专门面向 Lean 4 中的形式化定理证明任务。其初始化数据通过由 DeepSeek-V3 驱动的递归定理证明流水线收集:冷启动训练阶段先提示 DeepSeek-V3 将复杂问题分解为一系列子目标(subgoals),再将已解决子目标的证明过程与 DeepSeek-V3 的逐步推理综合为思维链(chain-of-thought),作为强化学习的初始冷启动数据,从而把非形式化与形式化数学推理统一进同一个模型。
该模型在 Xinference 内置模型库中的完整注册信息如下:
| 属性 | 值 |
|---|---|
| Context Length | 163840(约 160K tokens) |
| Model Name | deepseek-prover-v2 |
| Languages | en, zh |
| Abilities | chat, reasoning |
| Architectures | DeepseekV3ForCausalLM |
| Model Type | deepseek_v3 |
从源码注册数据还可以看到两个与"推理模型"密切相关的细节:
- 思考标签:
reasoning_start_tag为<think>,reasoning_end_tag为</think>,即模型在给出最终回答前会先输出一段被<think>...</think>包裹的推理过程; - 停止条件:
stop列表包含<|end▁of▁sentence|>,stop_token_ids为[1],同时其 chat template 使用<|User|>、<|Assistant|>、<|tool▁calls▁begin|>等 DeepSeek 系列专属分隔 token。
三档 Model Spec:从 671B MoE 到 7B 轻量版
Xinference 为 deepseek-prover-v2 内置了三个模型规格(Model Spec),覆盖了从旗舰级 MoE 大模型到 Apple 平台轻量化的完整部署场景:
Model Spec 1:pytorch / 671B
- Model Format: pytorch
- Model Size (in billions): 671
- Quantizations: none
- Engines: vLLM, Transformers, SGLang
- Model ID:
deepseek-ai/DeepSeek-Prover-V2-671B - Model Hubs: Hugging Face、ModelScope(
deepseek-ai/DeepSeek-Prover-V2-671B)
671B 是全尺寸版本。值得说明的是,从 llm_family.json 的源码注册数据可以看到,该规格还额外标明了 activated_size_in_billions: 37——这是一个 MoE(Mixture of Experts)模型,虽然总参数量为 6710 亿,但每次推理实际激活的参数量约为 370 亿。Xinference 的模型规格模型(见 llm_family.py 中 PytorchLLMSpecV2 的 activated_size_in_billions 字段)正是为此类 MoE 模型设计的,可用于估算实际显存占用与推理算力需求。
Model Spec 2:pytorch / 7B
- Model Format: pytorch
- Model Size (in billions): 7
- Quantizations: none
- Engines: vLLM, Transformers, SGLang
- Model ID:
deepseek-ai/DeepSeek-Prover-V2-7B - Model Hubs: Hugging Face、ModelScope(
deepseek-ai/DeepSeek-Prover-V2-7B)
7B 版本为单机单卡部署提供了更现实的入口,无需处理 MoE 的大规模多卡切分。
Model Spec 3:mlx / 7B 4bit
- Model Format: mlx
- Model Size (in billions): 7
- Quantizations: 4bit
- Engines: MLX
- Model ID:
mlx-community/DeepSeek-Prover-V2-7B-4bit - Model Hubs: Hugging Face、ModelScope(
mlx-community/DeepSeek-Prover-V2-7B-4bit)
MLX 规格使用社区 4bit 量化权重,面向 Apple 平台的 MLX 引擎。这是三个规格中唯一提供量化选项的版本。
一键启动:三条 launch 命令详解
Xinference 内置模型的最大便利在于:所有规格均已提前注册好模型 ID、默认量化方式与依赖环境,用户无需手动构造 Hugging Face 模型路径。启动命令统一为 xinference launch,其中 ${engine} 替换为上文列出的引擎名(vLLM / Transformers / SGLang / MLX),${quantization} 替换为该规格下可选的量化方式(上述规格分别为 none / none / 4bit):
Spec 1:pytorch 671B
xinference launch --model-engine ${engine} --model-name deepseek-prover-v2 --size-in-billions 671 --model-format pytorch --quantization ${quantization}
Spec 2:pytorch 7B
xinference launch --model-engine ${engine} --model-name deepseek-prover-v2 --size-in-billions 7 --model-format pytorch --quantization ${quantization}
Spec 3:mlx 7B 4bit
xinference launch --model-engine ${engine} --model-name deepseek-prover-v2 --size-in-billions 7 --model-format mlx --quantization ${quantization}
关于参数选择,有两个基于当前仓库的实操要点:
- 引擎与格式必须匹配。
check_format_with_engine(见 xinference/model/llm/init.py)会校验 model-format 与 engine 的兼容性:pytorch 格式对应 vLLM / Transformers / SGLang,mlx 格式对应 MLX 引擎。启动时若指定了不兼容的组合会被拒绝。 - launch 命令是通用的。
--model-name、--size-in-billions、--model-format、--quantization是 Xinference 所有内置 LLM 的统一参数(可参考 launch.rst 中其他模型的同样写法),--model-engine用于显式选择推理引擎。
引擎支持矩阵与依赖说明
Xinference 通过 SUPPORTED_ENGINES 统一注册各推理后端(见 xinference/model/llm/init.py):vLLM、SGLang、Transformers、llama.cpp、MLX、LMDEPLOY。deepseek-prover-v2 在 backends.rst 中被明确列入 vLLM 支持清单(与 deepseek-r1、deepseek-v3 等同列),同时根据模型注册数据,其 pytorch 规格还支持 Transformers 与 SGLang。
结合 llm_family.json 中该模型的 virtualenv.packages 配置,引擎选择对运行环境的影响如下:
| 引擎 | 适用场景 | 依赖(由 Xinference virtualenv 按需安装) |
|---|---|---|
| vLLM | 高吞吐、生产级服务化,推荐首选 | vLLM 依赖 + system numpy |
| Transformers | 兼容性优先、便于调试 | transformers 依赖 |
| SGLang | 高并发推理场景 | SGLang 依赖 |
| MLX | Apple 平台本地推理(仅 Spec 3) | MLX 依赖 |
deepseek-prover-v2 的架构类型为 DeepseekV3ForCausalLM,因此引擎侧需要具备对 DeepSeek V3 系列架构的支持能力;选用不支持该架构的引擎会直接导致加载失败。若不指定 --model-engine,Xinference 会依据模型格式自动匹配可用引擎。
启动后的模型能力与调用方式
deepseek-prover-v2 的能力标记为 chat 与 reasoning。在 Xinference 中,chat 能力意味着模型可通过 OpenAI 兼容的 Chat Completions 接口调用;reasoning 能力则意味着响应中会包含 <think>...</think> 形式的推理内容标签——Xinference 在生成引擎配置时会读取 reasoning_start_tag / reasoning_end_tag 并透传给各引擎(见 xinference/model/llm/init.py),因此在流式响应中可以看到模型完整的思维链输出,这与 DeepSeek-R1 系列的推理呈现方式一致。
启动成功后,可通过 xinference launch 返回的 endpoint(默认 http://localhost:9997)以 OpenAI 兼容协议发起请求,也可在 Xinference 的 WebUI 中直接对话。671B 规格由于激活参数达 37B 且总参数量巨大,建议优先使用 vLLM/SGLang 引擎并评估多卡显存规划;7B 规格则更适合单卡快速验证定理证明能力;Mac 用户可选择 MLX 4bit 规格获得本地可运行的轻量体验。
小结
deepseek-prover-v2是面向 Lean 4 形式化定理证明的 DeepSeek 系列推理模型,上下文长度 163840,支持 en/zh,能力为 chat + reasoning;- Xinference 内置三档规格:pytorch 671B(MoE,激活 37B)、pytorch 7B、mlx 7B 4bit,覆盖多卡生产与单机轻量部署;
- 统一使用
xinference launch --model-name deepseek-prover-v2 ...一条命令即可完成启动,引擎、格式、量化参数均已在 llm_family.json 中预注册,无需手动拼装模型路径; - 若需自定义模型族,可参考 custom.py 中的
register_llm机制扩展内置模型库。