首页
/ vLLM 开源项目教程

vLLM 开源项目教程

2024-08-07 00:01:27作者:史锋燃Gardner

项目介绍

vLLM 是一个高性能、内存效率高的推理和服务引擎,专为大型语言模型(LLMs)设计。它通过先进的内存管理技术、连续请求批处理和优化的 CUDA 内核,提供了卓越的吞吐量和响应速度。vLLM 支持多种量化技术,如 GPTQ、AWQ 和 SqueezeLLM,以及 FP8 KV 缓存优化,使其在处理大规模语言模型时表现出色。

项目快速启动

安装 vLLM

首先,通过 pip 安装 vLLM:

pip install vllm

离线推理

使用 vLLM 进行离线推理的示例代码如下:

from vllm import LLM

prompts = ["Hello my name is", "The capital of France is"]  # 示例提示
llm = LLM(model="lmsys/vicuna-7b-v1.3")  # 创建一个 LLM
outputs = llm.generate(prompts)  # 从提示生成文本
print(outputs)

在线服务

启动一个 OpenAI API 兼容的服务器:

python -m vllm.entrypoints.openai.api_server --model lmsys/vicuna-7b-v1.3

查询服务器:

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "lmsys/vicuna-7b-v1.3",
    "prompt": "San Francisco is a",
    "max_tokens": 7,
    "temperature": 0
  }'

应用案例和最佳实践

案例一:LMSYS Vicuna 和 Chatbot Arena

vLLM 的 FastChat-vLLM 集成自四月中旬以来一直支持 LMSYS Vicuna 和 Chatbot Arena。这一集成显著减少了用于服务的 GPU 数量,提高了系统的整体效率。

案例二:高并发请求处理

vLLM 每天平均处理 30,000 个请求,峰值达到 60,000 个,展示了其强大的鲁棒性和高并发处理能力。

典型生态项目

TensorRT-LLM

TensorRT-LLM 是一个高性能的 LLM 服务引擎,与 vLLM 相比,它在某些场景下提供了更优的性能和更低的延迟。

text-generation-inference

text-generation-inference 是一个专注于文本生成推理的开源项目,与 vLLM 结合使用,可以进一步提升文本生成任务的效率和质量。

lmdeploy

lmdeploy 是一个用于部署语言模型的工具包,它与 vLLM 集成,简化了从模型训练到部署的整个流程。

通过这些生态项目的结合,vLLM 可以构建一个全面、高效的语言模型服务生态系统。

登录后查看全文

项目优选

收起
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
104
187
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
463
378
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
55
128
leetcodeleetcode
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
51
14
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
278
517
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
90
246
HarmonyOS-ExamplesHarmonyOS-Examples
本仓将收集和展示仓颉鸿蒙应用示例代码,欢迎大家投稿,在仓颉鸿蒙社区展现你的妙趣设计!
Cangjie
349
247
MateChatMateChat
前端智能化场景解决方案UI库,轻松构建你的AI应用,我们将持续完善更新,欢迎你的使用与建议。 官网地址:https://matechat.gitcode.com
684
83
arkanalyzerarkanalyzer
方舟分析器:面向ArkTS语言的静态程序分析框架
TypeScript
29
37
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
358
36