PaddleNLP 大模型推理教程:从动态图快速推理到高性能服务化部署实战
PaddleNLP 大模型推理教程:从动态图快速推理到高性能服务化部署实战
PaddleNLP 以一站式体验、极致性能为设计理念,为大模型提供"压缩—推理—服务"全流程的高性能推理方案。本文围绕 llm/predict 下的推理工具链,系统讲解模型支持矩阵、推理参数体系、动态图/静态图两种推理方式,以及基于 Block/Append Attention、INT8/FP8 量化、投机解码的加速手段,并给出可复现的命令示例与服务化部署方案,帮助读者快速上手并进一步挖掘推理性能。
1. 推理方案总览
PaddleNLP 大模型推理构建了以下高性能推理能力:
- 内置动态插入和全环节算子融合策略:以 Inference Model 为载体,在推理过程中动态插入请求、融合算子,降低 kernel 启动开销;
- PageAttention / FlashDecoding 优化:借鉴 Page 分块思想实现 Block Attention,借鉴 KV 分块思想加速长序列推理;
- 多精度量化推理:支持 Weight Only INT8 / INT4 推理,以及权重(W)、激活(A)、Cache KV(C)三者的 INT8、FP8 量化推理;
- 动态图与静态图双模式:
--mode dynamic便于快速验证,--mode static配合导出模型用于高性能服务化部署。
在"压缩、推理、服务"全流程上,PaddleNLP 还提供多种 PTQ 技术(详见大模型量化教程),支持 WAC 灵活可配的量化能力(INT8 / FP8 / 4Bit),并覆盖多硬件:昆仑 XPU、昇腾 NPU、海光 K100、燧原 GCU、太初 SDAA 以及 X86 CPU。服务化层面则提供面向服务器场景的部署服务,支持连续批处理(continuous batching)、流式输出与 HTTP 协议接口。
2. 模型支持
PaddleNLP 中已添加高性能推理模型相关实现,已验证模型包括:
| Models | Example Models |
|---|---|
| Llama 3.x / Llama 2 | meta-llama/Llama-3.2-3B-Instruct、meta-llama/Meta-Llama-3.1-8B(-Instruct)、meta-llama/Meta-Llama-3.1-405B(-Instruct)、meta-llama/Meta-Llama-3-8B/70B(-Instruct)、meta-llama/Llama-Guard-3-8B、meta-llama/Llama-2-7b(-chat)、meta-llama/Llama-2-13b(-chat)、meta-llama/Llama-2-70b(-chat) |
| Qwen 2.x | Qwen/Qwen2-1.5B(-Instruct)、Qwen/Qwen2-7B(-Instruct)、Qwen/Qwen2-72B(-Instruct)、Qwen/Qwen2-57B-A14B(-Instruct)、Qwen/Qwen2-Math-1.5B-Instruct、Qwen/Qwen2.5-7B/14B/32B/72B-Instruct、Qwen/Qwen2.5-Math/Coder-1.5B-Instruct |
| Qwen-MoE | Qwen/Qwen1.5-MoE-A2.7B(-Chat)、Qwen/Qwen2-57B-A14B(-Instruct) |
| Mixtral | mistralai/Mixtral-8x7B-Instruct-v0.1、mistralai/Mixtral-8x22B-Instruct-v0.1 |
| ChatGLM 3 / 2 | THUDM/chatglm3-6b、THUDM/chatglm2-6b |
| Baichuan 2 / Baichuan | baichuan-inc/Baichuan2-7B-Base(-Chat)、baichuan-inc/Baichuan2-13B-Base(-Chat)、baichuan-inc/Baichuan-7B、baichuan-inc/Baichuan-13B-Base(-Chat) |
各模型族的高性能实现位于 paddlenlp/experimental/transformers/ 下,例如 Llama、Qwen、DeepSeek-V2/V3、ChatGLM 等均提供 InferenceModel / BlockInferenceModel 系列类,其中 DeepSeek-V2 的 Block 推理实现还包含 XPU 变体 DeepseekV2BlockInferenceModelXPU(见 modeling.py)。
3. 硬件与精度支持
PaddleNLP 提供了多硬件平台与多精度支持,能力矩阵如下:
| Precision | Hopper | Ada | Ampere | Turing | Volta | 昆仑 XPU | 昇腾 NPU | 海光 K100 | 燧原 GCU | 太初 SDAA | x86 CPU |
|---|---|---|---|---|---|---|---|---|---|---|---|
| FP32 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| FP16 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| BF16 | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ✅ |
| INT8 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ |
| FP8 | 🚧 | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
可以看出:FP32/FP16 在所有目标硬件上均可用;BF16 主要面向 Hopper/Ada/Ampere 等较新 NVIDIA 架构及 x86 CPU;INT8 在绝大多数平台可用;FP8 目前仅在 NVIDIA Ada 架构上完整支持(Hopper 为 🚧 开发中)。
4. 推理参数体系
所有推理参数均在 predictor.py 中以 PredictorArgument / ModelArgument 两个 dataclass 定义,通过 PdArgumentParser 解析为命令行参数。下面按类别逐一说明。
4.1 常规参数
| 参数 | 说明 | 默认值 |
|---|---|---|
model_name_or_path |
必需。预训练模型名称或本地模型路径,用于热启模型和分词器 | None |
dtype |
必需。模型参数 dtype(如 float16、bfloat16);未传入 lora_path / prefix_path 时必填 |
None |
lora_path |
LoRA 参数和配置路径,对 LoRA 参数进行初始化 | None |
prefix_path |
Prefix Tuning 参数和配置路径 | None |
batch_size |
批处理大小,越大显存占用越高 | 1 |
data_file |
待推理 json 文件 | None |
output_file |
推理结果保存文件 | output.json |
device |
运行环境:gpu、cpu、xpu、npu、gcu 等(dcu 与 gpu 推理命令一致) |
gpu |
model_type |
初始化模型类型:gpt-3(GPTForCausalLM)、ernie-3.5-se(Ernie35ForCausalLM) |
None |
mode |
动态图/静态图推理:dynamic、static |
dynamic |
avx_model |
CPU 推理时是否使用 AvxModel(参考 CPU 推理教程) | False |
avx_type |
avx 计算类型:fp16、bf16 |
None |
src_length |
模型输入(仅 prompt)最大 token 长度 | 1024(实际由 total_max_length - max_length 推导) |
max_length |
模型输出(仅生成内容)最大 token 长度 | 1024 |
total_max_length |
模型输入+输出最大 token 长度 | 4096 |
mla_use_matrix_absorption |
跑 DeepSeek-V3/R1 时是否使用 MLA 矩阵吸收实现 | True |
dynamic_insert |
离线推理是否支持动态插入(当前仅支持 Block/Append Attention 推理);开启后将 batch_size 作为运行时最大批处理大小 |
True |
total_request_num |
自动生成的输入请求数量,仅配合 dynamic_insert 测试使用 |
None(即与 batch_size 一致) |
data_file 样例数据(每行一个 JSON 对象,src 为输入,tgt 留空):
{"tgt":"", "src": "写一个300字的小说大纲,内容是李白穿越到现代,最后成为公司文职人员的故事"}
{"tgt":"", "src": "我要采访一位科幻作家,创建一个包含5个问题的列表"}
从源码看,PredictorArgument.__post_init__ 中做了几处自动推导:src_length 未设置时取 total_max_length - max_length;total_request_num 未设置时取 batch_size;max_length 必须小于 total_max_length(见 predictor.py)。这解释了为什么文档默认 src_length=1024 而源码默认 None——当 total_max_length=4096、max_length=1024 时二者等价。
4.2 性能优化参数
| 参数 | 说明 | 默认值 |
|---|---|---|
inference_model |
是否使用 Inference Model 推理。内置动态插入和全环节算子融合策略,开启后性能更优 | False |
block_attn |
是否使用 Block Attention 推理。基于 PageAttention 思想,动态为 CacheKV 分配存储空间,节省显存并提升吞吐 | False |
append_attn |
Append Attention 在 Block Attention 基础上借鉴 FlashInfer 优化 Attention 模块,并增加 C4 高性能支持,可替代 block_attn 单独开启 |
False |
block_size |
使用 Block/Append Attention 时一个 Block 可存储的 token 数量 | 64 |
这几个参数之间存在联动:开启 append_attn 会自动开启 block_attn,开启 block_attn 会自动开启 inference_model;使用投机解码(speculate_method 非 None)时也会强制 append_attn(见 predictor.py)。在 create_predictor 中,mode 与 inference_model、block_attn 组合出具体预测器类名(如 DygraphBlockInferencePredictor、StaticGraphInferencePredictor),再反射实例化(见 predictor.py);GenerationInferenceModel 与 GenerationBlockInferenceModel 的 get_cache_kvs_shape 则为静态图模式预分配 CacheKV 形状(见 generation_utils.py)。
4.3 量化参数
PaddleNLP 支持 Weight Only INT8 / INT4 推理,以及 WAC(权重、激活、Cache KV)的 INT8、FP8 量化推理。
| 参数 | 说明 | 默认值 |
|---|---|---|
quant_type |
量化推理类型:weight_only_int8、weight_only_int4、a8w8、a8w8_fp8。后两者需要 act 和 weight 的 scale 校准表,model_name_or_path 应为 PTQ 校准产出的量化模型(导出参考大模型量化教程) |
None |
cachekv_int8_type |
CacheKV INT8 量化:dynamic(已不再维护,不建议使用)、static(需要 cache kv 的 scale 校准表,传入 PTQ 量化模型) |
None |
weightonly_group_size |
Weight Only 模式下 group wise 量化粒度,支持 64、128;-1 表示 channel wise |
-1 |
weight_block_size |
FP8 权重量化粒度,当前支持 DeepSeek-V3/R1 | [128 128] |
moe_quant_type |
MoE 量化类型,支持 DeepSeek-V3/R1-FP8 模型的 MoE 量化推理:weight_only_int4、weight_only_int8 |
空 |
4.4 投机解码参数
投机解码的算法细节见投机解码教程。
| 参数 | 说明 | 默认值 |
|---|---|---|
speculate_method |
推理解码算法:None(正常自回归)、inference_with_reference(基于上下文的投机解码)、mtp、eagle |
None |
speculate_max_draft_token_num |
每轮产生的最大 draft tokens 数目 | 1(最大支持 5) |
speculate_max_ngram_size |
n-gram 匹配 draft tokens 的最大窗口大小;窗口大小与输入输出重叠程度共同决定产生 draft tokens 的开销,进而影响 inference_with_reference 的加速效果 |
1 |
speculate_verify_window(暂时废弃) |
TopP + window verify 中的 window 大小 | 2 |
speculate_max_candidate_len(暂时废弃) |
产生的最大候选 tokens 数目(仅在 TopP + window verify 时生效) | 5 |
draft_model_name_or_path |
MTP / EAGLE 模式下 Draft Model 的路径 | None |
draft_model_quant_type |
MTP / EAGLE 模式下 Draft Model 的推理量化精度(参考 quant_type) |
None |
return_full_hidden_states |
MTP / EAGLE 模式下是否返回全部隐藏层状态 | False |
4.5 解码策略参数
| 参数 | 说明 | 默认值 |
|---|---|---|
decode_strategy |
推理解码策略:greedy_search、beam_search、sampling |
sampling |
top_k |
sampling 策略中 top-k 过滤保留的最高概率 token 数量;等价于贪心策略 | 1 |
top_p |
sampling 策略中 top-p 过滤的累积概率;1.0 表示不起作用 |
1.0 |
temperature |
sampling 策略中对输出 logit 除以 temperature;1.0 表示不起作用 |
1.0 |
注意源码中的一处细节:当 decode_strategy == "greedy_search" 时,top_p 会被强制置为 0.0、temperature 置为 1.0(见 predictor.py)。
4.6 性能分析参数
| 参数 | 说明 | 默认值 |
|---|---|---|
benchmark |
是否开启性能分析。设为 true 时,将模型输入填充为 src_length 并强制解码到 max_length,计算推理吞吐量、记录推理时间 |
False |
5. 快速开始
5.1 环境准备
参考安装教程。推理入口脚本为 predictor.py,在 llm 目录下以 python ./predict/predictor.py 方式运行。
5.2 推理示例(动态图)
下面以 Llama2-7B 为例给出各类推理命令:
# 动态图模型推理命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn
# 动态图模型推理开启动态插入命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn --batch_size 2 --total_request_num 5 --dynamic_insert
# XPU设备动态图模型推理命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn --device xpu
# Weight Only Int8 动态图推理参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --quant_type weight_only_int8 --block_attn
# PTQ-A8W8推理命令参考
python ./predict/predictor.py --model_name_or_path checkpoints/llama_ptq_ckpts --inference_model --dtype float16 --block_attn --quant_type a8w8
# PTQ-A8W8C8推理命令参考
python ./predict/predictor.py --model_name_or_path checkpoints/llama_ptq_ckpts --inference_model --dtype float16 --block_attn --quant_type a8w8 --cachekv_int8_type static
# CacheKV 动态量化推理命令参考
python ./predict/predictor.py --model_name_or_path meta-llama/Llama-2-7b-chat --inference_model --dtype float16 --block_attn --cachekv_int8_type dynamic
要点说明:
quant_type可选weight_only_int8、weight_only_int4、a8w8、a8w8_fp8;a8w8与a8w8_fp8需要额外的 act 和 weight scale 校准表,model_name_or_path应为 PTQ 校准产出的量化模型,导出方法见大模型量化教程;cachekv_int8_type可选dynamic(已不再维护)与static,static需要 cache kv 的 scale 校准表,同样需传入 PTQ 量化模型。
从源码看,推理时会先 paddle.set_device(device) 与 paddle.set_default_dtype(dtype),随后加载 tokenizer、AutoConfig,并根据 inference_model 决定走 AutoInferenceModelForCausalLM.from_pretrained 高性能推理模型分支,还是走 AutoModelForCausalLM.from_pretrained 常规分支;model_type 为 gpt-3 / ernie-3.5-se 时会加载对应专用实现(见 predictor.py)。多卡场景下,paddle.distributed.get_world_size() > 1 时会通过 fleet.init 初始化张量并行(mp_degree = 世界大小),实现单机多卡自动切分。
6. 服务化部署
高性能服务化部署请参考:静态图服务化部署教程。
如果需要简单体验模型,PaddleNLP 提供了简易的 Flash Server 动态图部署方案——一套基于动态图推理、带 Gradio 图形界面的轻量级服务化部署方式。
环境准备:
- python >= 3.9
- gradio
- flask
服务化部署脚本(flask_server.py):
# 单卡,可以使用 paddle.distributed.launch 启动多卡推理
python ./predict/flask_server.py \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--port 8010 \
--flask_port 8011 \
--dtype "float16"
port:Gradio UI 服务端口号,默认 8010;flask_port:Flask 服务端口号,默认 8011。
部署完成后:
图形化界面:打开 http://127.0.0.1:8010 即可通过 gradio 界面开启对话。
API 访问:可通过 flask 服务化 API 调用。
python predict/request_flask_server.py
- 或直接使用 curl 调用开始对话:
curl 127.0.0.1:8011/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"message": [{"role": "user", "content": "你好"}]}'
- 使用 OpenAI 客户端调用:
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8011/v1/",
)
# Completion API
stream = True
completion = client.chat.completions.create(
model="default",
messages=[
{"role": "user", "content": "PaddleNLP好厉害!这句话的感情色彩是?"}
],
max_tokens=1024,
stream=stream,
)
if stream:
for c in completion:
print(c.choices[0].delta.content, end="")
else:
print(completion.choices[0].message.content)
需要说明:该方式部署性能一般,追求高性能应使用静态图服务化部署方案(deploy_usage_tutorial.md),其支持连续批处理与流式输出等服务器场景能力。
7. 延伸阅读
更多模型族推理教程:
更多压缩、服务化推理体验:大模型量化教程、静态图服务化部署教程。
更多硬件大模型推理教程:
致谢与设计渊源
PaddleNLP 参考了多个开源框架的实现思路:Append Attention 基于 FlashInfer 框架实现;Generation 阶段的 Block Attention 参考 vLLM 的 Page 分块思想;长 sequence 场景的推理加速基于 Flash Decoding 的 KV 分块思想;Prefill 阶段 attention 加速基于 Flash Attention2;FP8 GEMM 基于 CUTLASS 高性能模板库实现;gemm_dequant 等部分算子参考了 TensorRT-LLM 和 FasterTransformer 的实现与优化思路。这些实现可在 csrc/gpu/ 下的 append_attn、flash_attn_bwd.cc 等源码以及 paddlenlp/experimental/transformers/ 的高性能模型实现中进一步查看。