vLLM 开源项目教程

项目介绍

vLLM 是一个高性能、内存效率高的推理和服务引擎，专为大型语言模型（LLMs）设计。它通过先进的内存管理技术、连续请求批处理和优化的 CUDA 内核，提供了卓越的吞吐量和响应速度。vLLM 支持多种量化技术，如 GPTQ、AWQ 和 SqueezeLLM，以及 FP8 KV 缓存优化，使其在处理大规模语言模型时表现出色。

项目快速启动

安装 vLLM

首先，通过 pip 安装 vLLM：

pip install vllm

离线推理

使用 vLLM 进行离线推理的示例代码如下：

from vllm import LLM

prompts = ["Hello my name is", "The capital of France is"]  # 示例提示
llm = LLM(model="lmsys/vicuna-7b-v1.3")  # 创建一个 LLM
outputs = llm.generate(prompts)  # 从提示生成文本
print(outputs)

在线服务

启动一个 OpenAI API 兼容的服务器：

python -m vllm.entrypoints.openai.api_server --model lmsys/vicuna-7b-v1.3

查询服务器：

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "lmsys/vicuna-7b-v1.3",
    "prompt": "San Francisco is a",
    "max_tokens": 7,
    "temperature": 0
  }'

应用案例和最佳实践

案例一：LMSYS Vicuna 和 Chatbot Arena

vLLM 的 FastChat-vLLM 集成自四月中旬以来一直支持 LMSYS Vicuna 和 Chatbot Arena。这一集成显著减少了用于服务的 GPU 数量，提高了系统的整体效率。

案例二：高并发请求处理

vLLM 每天平均处理 30,000 个请求，峰值达到 60,000 个，展示了其强大的鲁棒性和高并发处理能力。

典型生态项目

TensorRT-LLM

TensorRT-LLM 是一个高性能的 LLM 服务引擎，与 vLLM 相比，它在某些场景下提供了更优的性能和更低的延迟。

text-generation-inference

text-generation-inference 是一个专注于文本生成推理的开源项目，与 vLLM 结合使用，可以进一步提升文本生成任务的效率和质量。

lmdeploy

lmdeploy 是一个用于部署语言模型的工具包，它与 vLLM 集成，简化了从模型训练到部署的整个流程。

通过这些生态项目的结合，vLLM 可以构建一个全面、高效的语言模型服务生态系统。