PaddleNLP 大模型推理教程:从动态图快速推理到高性能服务化部署实战

原创2026-09-25 10:15:59149 阅读
文章标签:人工智能大模型NLP深度学习机器学习预训练微调LoRA模型量化模型推理服务强化学习分布式训练Embedding本地部署

PaddleNLP 大模型推理教程:从动态图快速推理到高性能服务化部署实战

PaddleNLP 以一站式体验、极致性能为设计理念,为大模型提供"压缩—推理—服务"全流程的高性能推理方案。本文围绕 llm/predict 下的推理工具链,系统讲解模型支持矩阵、推理参数体系、动态图/静态图两种推理方式,以及基于 Block/Append Attention、INT8/FP8 量化、投机解码的加速手段,并给出可复现的命令示例与服务化部署方案,帮助读者快速上手并进一步挖掘推理性能。

1. 推理方案总览

PaddleNLP 大模型推理构建了以下高性能推理能力:

  • 内置动态插入和全环节算子融合策略:以 Inference Model 为载体,在推理过程中动态插入请求、融合算子,降低 kernel 启动开销;
  • PageAttention / FlashDecoding 优化:借鉴 Page 分块思想实现 Block Attention,借鉴 KV 分块思想加速长序列推理;
  • 多精度量化推理:支持 Weight Only INT8 / INT4 推理,以及权重(W)、激活(A)、Cache KV(C)三者的 INT8、FP8 量化推理;
  • 动态图与静态图双模式:--mode dynamic 便于快速验证,--mode static 配合导出模型用于高性能服务化部署。

在"压缩、推理、服务"全流程上,PaddleNLP 还提供多种 PTQ 技术(详见大模型量化教程),支持 WAC 灵活可配的量化能力(INT8 / FP8 / 4Bit),并覆盖多硬件:昆仑 XPU、昇腾 NPU、海光 K100、燧原 GCU、太初 SDAA 以及 X86 CPU。服务化层面则提供面向服务器场景的部署服务,支持连续批处理(continuous batching)、流式输出与 HTTP 协议接口。

2. 模型支持

PaddleNLP 中已添加高性能推理模型相关实现,已验证模型包括:

Models Example Models
Llama 3.x / Llama 2 meta-llama/Llama-3.2-3B-Instruct、meta-llama/Meta-Llama-3.1-8B(-Instruct)、meta-llama/Meta-Llama-3.1-405B(-Instruct)、meta-llama/Meta-Llama-3-8B/70B(-Instruct)、meta-llama/Llama-Guard-3-8B、meta-llama/Llama-2-7b(-chat)、meta-llama/Llama-2-13b(-chat)、meta-llama/Llama-2-70b(-chat)
Qwen 2.x Qwen/Qwen2-1.5B(-Instruct)、Qwen/Qwen2-7B(-Instruct)、Qwen/Qwen2-72B(-Instruct)、Qwen/Qwen2-57B-A14B(-Instruct)、Qwen/Qwen2-Math-1.5B-Instruct、Qwen/Qwen2.5-7B/14B/32B/72B-Instruct、Qwen/Qwen2.5-Math/Coder-1.5B-Instruct
Qwen-MoE Qwen/Qwen1.5-MoE-A2.7B(-Chat)、Qwen/Qwen2-57B-A14B(-Instruct)
Mixtral mistralai/Mixtral-8x7B-Instruct-v0.1、mistralai/Mixtral-8x22B-Instruct-v0.1
ChatGLM 3 / 2 THUDM/chatglm3-6b、THUDM/chatglm2-6b
Baichuan 2 / Baichuan baichuan-inc/Baichuan2-7B-Base(-Chat)、baichuan-inc/Baichuan2-13B-Base(-Chat)、baichuan-inc/Baichuan-7B、baichuan-inc/Baichuan-13B-Base(-Chat)

各模型族的高性能实现位于 paddlenlp/experimental/transformers/ 下,例如 Llama、Qwen、DeepSeek-V2/V3、ChatGLM 等均提供 InferenceModel / BlockInferenceModel 系列类,其中 DeepSeek-V2 的 Block 推理实现还包含 XPU 变体 DeepseekV2BlockInferenceModelXPU(见 modeling.py)。

3. 硬件与精度支持

PaddleNLP 提供了多硬件平台与多精度支持,能力矩阵如下:

Precision Hopper Ada Ampere Turing Volta 昆仑 XPU 昇腾 NPU 海光 K100 燧原 GCU 太初 SDAA x86 CPU
FP32 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
FP16 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
BF16 ✅ ✅ ✅ ❌ ❌ ❌ ❌ ❌ ❌ ❌ ✅
INT8 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅
FP8 🚧 ✅ ❌ ❌ ❌ ❌ ❌ ❌ ❌ ❌ ❌

可以看出:FP32/FP16 在所有目标硬件上均可用;BF16 主要面向 Hopper/Ada/Ampere 等较新 NVIDIA 架构及 x86 CPU;INT8 在绝大多数平台可用;FP8 目前仅在 NVIDIA Ada 架构上完整支持(Hopper 为 🚧 开发中)。

4. 推理参数体系

所有推理参数均在 predictor.py 中以 PredictorArgument / ModelArgument 两个 dataclass 定义,通过 PdArgumentParser 解析为命令行参数。下面按类别逐一说明。

4.1 常规参数

参数 说明 默认值
model_name_or_path 必需。预训练模型名称或本地模型路径,用于热启模型和分词器 None
dtype 必需。模型参数 dtype(如 float16、bfloat16);未传入 lora_path / prefix_path 时必填 None
lora_path LoRA 参数和配置路径,对 LoRA 参数进行初始化 None
prefix_path Prefix Tuning 参数和配置路径 None
batch_size 批处理大小,越大显存占用越高 1
data_file 待推理 json 文件 None
output_file 推理结果保存文件 output.json
device 运行环境:gpu、cpu、xpu、npu、gcu 等(dcu 与 gpu 推理命令一致) gpu
model_type 初始化模型类型:gpt-3(GPTForCausalLM)、ernie-3.5-se(Ernie35ForCausalLM) None
mode 动态图/静态图推理:dynamic、static dynamic
avx_model CPU 推理时是否使用 AvxModel(参考 CPU 推理教程) False
avx_type avx 计算类型:fp16、bf16 None
src_length 模型输入(仅 prompt)最大 token 长度 1024(实际由 total_max_length - max_length 推导)
max_length 模型输出(仅生成内容)最大 token 长度 1024
total_max_length 模型输入+输出最大 token 长度 4096
mla_use_matrix_absorption 跑 DeepSeek-V3/R1 时是否使用 MLA 矩阵吸收实现 True
dynamic_insert 离线推理是否支持动态插入(当前仅支持 Block/Append Attention 推理);开启后将 batch_size 作为运行时最大批处理大小 True
total_request_num 自动生成的输入请求数量,仅配合 dynamic_insert 测试使用 None(即与 batch_size 一致)

data_file 样例数据(每行一个 JSON 对象,src 为输入,tgt 留空):

{"tgt":"", "src": "写一个300字的小说大纲,内容是李白穿越到现代,最后成为公司文职人员的故事"}
{"tgt":"", "src": "我要采访一位科幻作家,创建一个包含5个问题的列表"}

从源码看,PredictorArgument.__post_init__ 中做了几处自动推导:src_length 未设置时取 total_max_length - max_length;total_request_num 未设置时取 batch_size;max_length 必须小于 total_max_length(见 predictor.py)。这解释了为什么文档默认 src_length=1024 而源码默认 None——当 total_max_length=4096、max_length=1024 时二者等价。

4.2 性能优化参数

参数 说明 默认值
inference_model 是否使用 Inference Model 推理。内置动态插入和全环节算子融合策略,开启后性能更优 False
block_attn 是否使用 Block Attention 推理。基于 PageAttention 思想,动态为 CacheKV 分配存储空间,节省显存并提升吞吐 False
append_attn Append Attention 在 Block Attention 基础上借鉴 FlashInfer 优化 Attention 模块,并增加 C4 高性能支持,可替代 block_attn 单独开启 False
block_size 使用 Block/Append Attention 时一个 Block 可存储的 token 数量 64

这几个参数之间存在联动:开启 append_attn 会自动开启 block_attn,开启 block_attn 会自动开启 inference_model;使用投机解码(speculate_method 非 None)时也会强制 append_attn(见 predictor.py)。在 create_predictor 中,mode 与 inference_model、block_attn 组合出具体预测器类名(如 DygraphBlockInferencePredictor、StaticGraphInferencePredictor),再反射实例化(见 predictor.py);GenerationInferenceModel 与 GenerationBlockInferenceModel 的 get_cache_kvs_shape 则为静态图模式预分配 CacheKV 形状(见 generation_utils.py)。

4.3 量化参数

PaddleNLP 支持 Weight Only INT8 / INT4 推理,以及 WAC(权重、激活、Cache KV)的 INT8、FP8 量化推理。

参数 说明 默认值
quant_type 量化推理类型:weight_only_int8、weight_only_int4、a8w8、a8w8_fp8。后两者需要 act 和 weight 的 scale 校准表,model_name_or_path 应为 PTQ 校准产出的量化模型(导出参考大模型量化教程) None
cachekv_int8_type CacheKV INT8 量化:dynamic(已不再维护,不建议使用)、static(需要 cache kv 的 scale 校准表,传入 PTQ 量化模型) None
weightonly_group_size Weight Only 模式下 group wise 量化粒度,支持 64、128;-1 表示 channel wise -1
weight_block_size FP8 权重量化粒度,当前支持 DeepSeek-V3/R1 [128 128]
moe_quant_type MoE 量化类型,支持 DeepSeek-V3/R1-FP8 模型的 MoE 量化推理:weight_only_int4、weight_only_int8 空

4.4 投机解码参数

投机解码的算法细节见投机解码教程。

参数 说明 默认值
speculate_method 推理解码算法:None(正常自回归)、inference_with_reference(基于上下文的投机解码)、mtp、eagle None
speculate_max_draft_token_num 每轮产生的最大 draft tokens 数目 1(最大支持 5)
speculate_max_ngram_size n-gram 匹配 draft tokens 的最大窗口大小;窗口大小与输入输出重叠程度共同决定产生 draft tokens 的开销,进而影响 inference_with_reference 的加速效果 1
speculate_verify_window(暂时废弃) TopP + window verify 中的 window 大小 2
speculate_max_candidate_len(暂时废弃) 产生的最大候选 tokens 数目(仅在 TopP + window verify 时生效) 5
draft_model_name_or_path MTP / EAGLE 模式下 Draft Model 的路径 None
draft_model_quant_type MTP / EAGLE 模式下 Draft Model 的推理量化精度(参考 quant_type) None
return_full_hidden_states MTP / EAGLE 模式下是否返回全部隐藏层状态 False

4.5 解码策略参数

参数 说明 默认值
decode_strategy 推理解码策略:greedy_search、beam_search、sampling sampling
top_k sampling 策略中 top-k 过滤保留的最高概率 token 数量;等价于贪心策略 1
top_p sampling 策略中 top-p 过滤的累积概率;1.0 表示不起作用 1.0
temperature sampling 策略中对输出 logit 除以 temperature;1.0 表示不起作用 1.0

注意源码中的一处细节:当 decode_strategy == "greedy_search" 时,top_p 会被强制置为 0.0、temperature 置为 1.0(见 predictor.py)。

4.6 性能分析参数

参数 说明 默认值
benchmark 是否开启性能分析。设为 true 时,将模型输入填充为 src_length 并强制解码到 max_length,计算推理吞吐量、记录推理时间 False

5. 快速开始

5.1 环境准备

参考安装教程。推理入口脚本为 predictor.py,在 llm 目录下以 python ./predict/predictor.py 方式运行。

5.2 推理示例(动态图)

下面以 Llama2-7B 为例给出各类推理命令:

# 动态图模型推理命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn

# 动态图模型推理开启动态插入命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn --batch_size 2 --total_request_num 5 --dynamic_insert

# XPU设备动态图模型推理命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn --device xpu

# Weight Only Int8 动态图推理参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --quant_type weight_only_int8 --block_attn

# PTQ-A8W8推理命令参考
python ./predict/predictor.py --model_name_or_path checkpoints/llama_ptq_ckpts --inference_model --dtype float16 --block_attn --quant_type a8w8

# PTQ-A8W8C8推理命令参考
python ./predict/predictor.py --model_name_or_path checkpoints/llama_ptq_ckpts --inference_model --dtype float16 --block_attn --quant_type a8w8 --cachekv_int8_type static

# CacheKV 动态量化推理命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn --cachekv_int8_type dynamic

要点说明:

  1. quant_type 可选 weight_only_int8、weight_only_int4、a8w8、a8w8_fp8;
  2. a8w8 与 a8w8_fp8 需要额外的 act 和 weight scale 校准表,model_name_or_path 应为 PTQ 校准产出的量化模型,导出方法见大模型量化教程;
  3. cachekv_int8_type 可选 dynamic(已不再维护)与 static,static 需要 cache kv 的 scale 校准表,同样需传入 PTQ 量化模型。

从源码看,推理时会先 paddle.set_device(device) 与 paddle.set_default_dtype(dtype),随后加载 tokenizer、AutoConfig,并根据 inference_model 决定走 AutoInferenceModelForCausalLM.from_pretrained 高性能推理模型分支,还是走 AutoModelForCausalLM.from_pretrained 常规分支;model_type 为 gpt-3 / ernie-3.5-se 时会加载对应专用实现(见 predictor.py)。多卡场景下,paddle.distributed.get_world_size() > 1 时会通过 fleet.init 初始化张量并行(mp_degree = 世界大小),实现单机多卡自动切分。

6. 服务化部署

高性能服务化部署请参考:静态图服务化部署教程。

如果需要简单体验模型,PaddleNLP 提供了简易的 Flash Server 动态图部署方案——一套基于动态图推理、带 Gradio 图形界面的轻量级服务化部署方式。

环境准备:

  • python >= 3.9
  • gradio
  • flask

服务化部署脚本(flask_server.py):

# 单卡,可以使用 paddle.distributed.launch 启动多卡推理
python  ./predict/flask_server.py \
    --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --port 8010 \
    --flask_port 8011 \
    --dtype "float16"
  • port:Gradio UI 服务端口号,默认 8010;
  • flask_port:Flask 服务端口号,默认 8011。

部署完成后:

图形化界面:打开 http://127.0.0.1:8010 即可通过 gradio 界面开启对话。

API 访问:可通过 flask 服务化 API 调用。

  1. 参考 request_flask_server.py:
python predict/request_flask_server.py
  1. 或直接使用 curl 调用开始对话:
curl 127.0.0.1:8011/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"message": [{"role": "user", "content": "你好"}]}'
  1. 使用 OpenAI 客户端调用:
from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8011/v1/",
)

# Completion API
stream = True
completion = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "user", "content": "PaddleNLP好厉害!这句话的感情色彩是?"}
    ],
    max_tokens=1024,
    stream=stream,
)

if stream:
    for c in completion:
        print(c.choices[0].delta.content, end="")
else:
    print(completion.choices[0].message.content)

需要说明:该方式部署性能一般,追求高性能应使用静态图服务化部署方案(deploy_usage_tutorial.md),其支持连续批处理与流式输出等服务器场景能力。

7. 延伸阅读

更多模型族推理教程:

环境准备:安装教程;获取最佳推理性能:最佳实践。

更多压缩、服务化推理体验:大模型量化教程、静态图服务化部署教程。

更多硬件大模型推理教程:

致谢与设计渊源

PaddleNLP 参考了多个开源框架的实现思路:Append Attention 基于 FlashInfer 框架实现;Generation 阶段的 Block Attention 参考 vLLM 的 Page 分块思想;长 sequence 场景的推理加速基于 Flash Decoding 的 KV 分块思想;Prefill 阶段 attention 加速基于 Flash Attention2;FP8 GEMM 基于 CUTLASS 高性能模板库实现;gemm_dequant 等部分算子参考了 TensorRT-LLM 和 FasterTransformer 的实现与优化思路。这些实现可在 csrc/gpu/ 下的 append_attn、flash_attn_bwd.cc 等源码以及 paddlenlp/experimental/transformers/ 的高性能模型实现中进一步查看。

登录后查看全文
PaddleNLP