PPL LLM Serving 项目使用教程

1. 项目目录结构及介绍

PPL LLM Serving 项目是一个基于 PPL.LLM 系统的服务端项目，用于支持各种大型语言模型（LLMs）的推理服务。以下是项目的目录结构及其简要介绍：

• cmake/: 存储项目的 CMake 配置文件。
• docs/: 可能包含项目文档和相关说明。
• samples/: 存储示例代码和测试数据。
• src/: 源代码目录，包含项目的核心实现。
• test/: 测试代码目录，用于验证项目的功能和性能。
• tools/: 包含辅助工具和脚本，如客户端示例和性能测试工具。
• .clang-format: Clang 格式化配置文件。
• .gitignore: 指定 Git 忽略的文件和目录。
• CMakeLists.txt: 项目的主要 CMake 配置文件。
• LICENSE: 项目的许可协议文件，本项目采用 Apache-2.0 许可。
• README.md: 项目的自述文件，通常包含项目描述、安装和使用说明。
• build.sh: 构建脚本，用于编译项目。

2. 项目的启动文件介绍

项目的启动文件是 ppl_llm_server，它是一个可执行文件，用于启动模型服务。以下是启动服务的示例命令：

./ppl_llm_server \
--model-dir /data/model \
--model-param-path /data/model/params.json \
--tokenizer-path /data/tokenizer.model \
--tensor-parallel-size 1 \
--top-p 0.0 \
--top-k 1 \
--max-tokens-scale 0.94 \
--max-input-tokens-per-request 4096 \
--max-output-tokens-per-request 4096 \
--max-total-tokens-per-request 8192 \
--max-running-batch 1024 \
--max-tokens-per-step 8192 \
--host 127.0.0.1 \
--port 23333

在这个命令中，你需要提供正确的模型目录、模型参数路径和分词器路径等参数。

3. 项目的配置文件介绍

项目的配置文件主要是通过命令行参数进行配置。在上述启动命令中，我们可以看到一些主要的配置参数：

• --model-dir: 指定模型存储的目录。
• --model-param-path: 指定模型参数的路径。
• --tokenizer-path: 指定分词器模型的路径。
• --tensor-parallel-size: 设置张量并行的大小。
• --top-p: 设置生成的文本的多样性。
• --top-k: 设置生成过程中考虑的最高概率词汇的数量。
• --max-tokens-scale: 设置最大令牌数的缩放比例。
• --max-input-tokens-per-request: 设置每个请求允许的最大输入令牌数。
• --max-output-tokens-per-request: 设置每个请求允许的最大输出令牌数。
• --max-total-tokens-per-request: 设置每个请求允许的最大总令牌数。
• --max-running-batch: 设置同时运行的最大批处理请求数量。
• --max-tokens-per-step: 设置每步允许的最大令牌数。
• --host: 设置服务监听的地址。
• --port: 设置服务监听的端口。

这些参数可以根据实际需求进行调整，以适应不同的服务场景。