NexaSDK命令行工具(CLI)完全指南

前言

NexaSDK是一个功能强大的AI模型工具包，其命令行界面(CLI)为用户提供了便捷的模型管理、推理和转换功能。本文将全面介绍NexaSDK CLI的各项功能和使用方法，帮助开发者高效地使用各类AI模型。

安装与基础命令

在开始使用前，请确保已正确安装NexaSDK。安装完成后，可以通过以下命令查看CLI的基本信息：

nexa -V  # 查看版本
nexa -h  # 查看帮助

模型管理

1. 模型列表查看

要查看本地已下载的所有模型，使用：

nexa list

该命令会列出所有可用模型及其路径，这些模型可以直接用于后续的推理任务。

2. 模型下载

从模型中心下载模型到本地：

nexa pull <模型路径>

支持从多个源下载模型：

• 默认从Nexa模型中心下载
• 添加-hf参数从Hugging Face下载
• 添加-ms参数从ModelScope下载

示例：

nexa pull llama2
nexa pull meta-llama/Llama-2-7b -hf

3. 模型删除

删除本地模型：

nexa remove <模型路径>

清理所有本地模型：

nexa clean

模型推理

NexaSDK支持多种类型的模型推理，包括文本生成、图像生成、视觉语言模型和语音模型等。

1. 文本生成模型

基本用法：

nexa run <模型路径>

高级参数：

• -t 温度参数(控制生成随机性)
• -m 最大新token数
• -k top-k采样
• -p top-p采样
• -sw 停止词列表

示例：

nexa run llama2 -t 0.7 -m 512

2. 图像生成模型

支持文生图和图生图任务：

nexa run <模型路径> -H 512 -W 512

关键参数：

• -i2i 启用图生图模式
• -ns 推理步数
• -H/-W 图像高宽
• -g 引导尺度

3. 视觉语言模型(VLM)

处理图像和文本的多模态任务：

nexa run nanollava

4. 语音模型

语音识别任务：

nexa run faster-whisper-tiny -l en

高级功能

1. 生成文本嵌入

nexa embed <模型路径> "输入文本"

支持多种嵌入模型，并可选择是否归一化输出。

2. 模型转换

将Hugging Face模型转换为GGUF格式：

nexa convert <模型路径> [量化类型] [输出文件]

支持多种量化类型(q4_0, q6_k等)，可优化模型大小和推理速度。

3. 本地服务部署

启动本地推理服务：

nexa server <模型路径> --port 8000

4. 模型评估

对模型性能进行评估：

nexa eval <模型路径> --tasks ifeval

模型路径规范

为了确保正确加载模型，建议遵循以下路径格式：

• 官方模型：repo_name:tag_name (如：gemma-2b:q4_0)
• 用户模型：user_name/repo_name:tag_name (如：liuhaotian/llava-v1.6:gguf-q4_0)

总结

NexaSDK CLI提供了一套完整的AI模型工作流工具，从模型管理到推理部署，覆盖了常见的AI应用场景。通过熟练掌握这些命令，开发者可以高效地进行AI模型的实验和部署。建议新手从简单的文本生成任务开始，逐步探索更复杂的功能。