【亲测免费】 LLMPerf 使用教程

1. 项目介绍

LLMPerf 是一个用于验证和基准测试大型语言模型（LLM）的开源工具。它通过实施负载测试和正确性测试来评估语言模型API的性能和正确性。LLMPerf 可以与多种语言模型API配合使用，包括 OpenAI、Anthropic、TogetherAI、Hugging Face、LiteLLM、Vertex AI 和 SageMaker 等。

2. 项目快速启动

在开始之前，请确保您已经安装了必要的依赖项。以下是快速启动 LLMPerf 的步骤：

首先，克隆 LLMPerf 仓库：

git clone https://github.com/ray-project/llmperf.git
cd llmperf
pip install -e .

接下来，运行负载测试脚本。以下是一个基本的负载测试示例：

python token_benchmark_ray.py \
--model "meta-llama/Llama-2-7b-chat-hf" \
--mean-input-tokens 550 \
--stddev-input-tokens 150 \
--mean-output-tokens 150 \
--stddev-output-tokens 10 \
--max-num-completed-requests 2 \
--timeout 600 \
--num-concurrent-requests 1 \
--results-dir "result_outputs" \
--llm-api "openai" \
--additional-sampling-params "{}"

此命令将启动一个并发请求，对指定的语言模型API进行负载测试。

3. 应用案例和最佳实践

负载测试

负载测试会生成随机文本行，并以并发请求的形式发送到语言模型API。以下是一个负载测试的案例：

python token_benchmark_ray.py \
--model "your_model" \
--mean-input-tokens 550 \
--stddev-input-tokens 150 \
--mean-output-tokens 150 \
--stddev-output-tokens 10 \
--max-num-completed-requests "your_max_requests" \
--timeout 600 \
--num-concurrent-requests "your_concurrent_requests" \
--results-dir "result_outputs" \
--llm-api "your_llm_api" \
--additional-sampling-params "{}"

替换 your_model、your_max_requests、your_concurrent_requests 和 your_llm_api 为适合您情况的值。

正确性测试

正确性测试会向语言模型API发送一系列数字转换请求，并验证响应是否包含正确的数字。以下是一个正确性测试的案例：

python llm_correctness.py \
--model "your_model" \
--llm-api "your_llm_api" \
--max-num-completed-requests 10 \
--timeout 600 \
--num-concurrent-requests 1 \
--results-dir "result_outputs"

同样，替换 your_model 和 your_llm_api 为您所需的模型和API。

4. 典型生态项目

LLMPerf 的生态系统中包含了多个与语言模型API相关的项目，例如：

• OpenAI API: 提供了强大的语言模型功能。
• Anthropic API: 专注于提供安全、可解释的语言模型。
• TogetherAI API: 为开发者提供了易于使用的语言模型工具。
• Hugging Face API: 开源的语言模型平台，拥有丰富的模型仓库。
• LiteLLM API: 轻量级语言模型服务，易于集成。

通过这些典型的生态项目，开发者可以更好地利用 LLMPerf 进行语言模型的性能评估和正确性验证。