Qwen-Agent项目中使用ollama部署Qwen1.5模型API的实践指南

在Qwen-Agent项目开发过程中，模型API的部署与适配是一个关键环节。本文将详细介绍如何通过ollama工具部署Qwen1.5模型API，并与Qwen-Agent框架进行集成。

ollama部署Qwen1.5模型

ollama是一个便捷的模型部署工具，支持多种开源大语言模型。要部署Qwen1.5模型，首先需要安装ollama并启动服务：

1. 安装ollama后，在命令行中启动服务：

   ollama serve
   

2. 拉取指定规模的Qwen1.5模型（以0.5B版本为例）：

   ollama run qwen:0.5b
   

   执行完成后可通过/bye命令退出交互界面。

与Qwen-Agent集成

浏览器应用集成

对于browserQwen应用，在保持ollama服务运行的状态下，执行以下命令：

python run_server.py --llm qwen:0.5b --model_server http://127.0.0.1:11434/v1

框架开发集成

在Qwen-Agent框架开发中，可以通过以下代码配置llm参数：

from qwen_agent.llm import get_chat_model

llm_cfg = {
    'model': 'qwen:0.5b',
    'model_server': 'http://127.0.0.1:11434/v1',
    'api_key': 'ollama',
}
llm = get_chat_model(llm_cfg)

注意事项

1. Qwen-Agent目前主要支持Qwen1.5系列模型，不再维护对Qwen1.0的支持。
2. 模型规模可根据实际需求调整，ollama支持多种参数规模的Qwen1.5模型。
3. 除ollama外，vLLM也是兼容OpenAI API的另一种可选部署方案。

通过ollama部署的Qwen1.5模型API，开发者可以充分利用Qwen-Agent框架提供的各种功能，快速构建基于大语言模型的智能应用。这种部署方式简单高效，特别适合本地开发和测试环境使用。