Underdog-Saluki-27B-1.0 快速上手教程:3条命令在 llama.cpp 上跑起7.89GB量化大模型
Underdog-Saluki-27B-1.0 快速上手教程:3条命令在 llama.cpp 上跑起7.89GB量化大模型
Underdog-Saluki-27B-1.0 是基于 Qwen3.8-27B 深度调优的 GGUF 量化大模型,文件仅 7.89 GB 却保留了高质量的**工具调用(tool calling)**能力,原生兼容 llama.cpp。本文带你用 3 条命令完成下载、启动服务和启用视觉,轻松在本地部署这款高性价比大模型。
📦 先认识一下:仓库里有什么
这个仓库非常"干净"——没有复杂代码,核心就是几个 GGUF 模型文件,下载即可用:
| 文件 | 大小 | 作用 |
|---|---|---|
| Underdog-Saluki-27B-1.0-IQ2-mix.gguf | 7.89 GB | 主模型文件(IQ2-mix 量化,纯文本) |
| mmproj-Underdog-Saluki-27B-1.0-F16.gguf | 928 MB | 视觉插件(高精度 F16) |
| mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf | 629 MB | 视觉插件(省内存 Q8_0) |
| README.md | - | 官方文档:快速开始、参数、基准测试 |
| LICENSE | - | Apache 2.0 许可证 |
| NOTICE | - | 版权与来源说明 |
💡 完整说明请阅读 README.md;模型基于 Qwen3.8-27B 与 ISTA-DASLab 的 GGUF 量化版本,详见 NOTICE。
🚀 三条命令快速上手
前提:已安装 llama.cpp 生态的 llama-server 与 huggingface-cli 工具。
第 1 条命令:下载主模型文件(7.89 GB)
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
一条命令即可拉取 7.89 GB 的 IQ2-mix 量化模型,下载完成后文件就保存在当前目录。
第 2 条命令:启动 llama-server 推理服务
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768
服务启动后,会在 8080 端口提供 OpenAI 兼容的 Chat API,可以直接对接各类应用和客户端。
第 3 条命令:需要看图?加一个视觉参数即可
主模型是纯文本的,想让它"看图",先下载视觉插件(约 0.6~0.9 GB),启动时加上 --mmproj:
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768
之后通过 OpenAI Chat API 发送图片的方式和平时一模一样,无需改代码。
⚙️ 启动参数逐个看懂
| 参数 | 含义 |
|---|---|
-m |
指定主模型 GGUF 文件 |
--jinja |
启用 Qwen3.8 聊天模板,负责处理工具调用与思考模式 |
-ngl 99 |
全部层卸载到 GPU |
-fa on |
开启 Flash Attention,提速又省显存 |
-c 32768 |
32K 上下文长度 |
--mmproj |
加载视觉投影文件,开启图像理解 |
🎯 推荐用法:思考模式与采样设置
| 使用场景 | 推荐设置 |
|---|---|
| 通用对话、推理、指令跟随 | 思考模式开启(默认),temperature 0.6、top_p 0.95、top_k 20 |
| 快速直接的工具调用 | 思考模式关闭:请求中传 "chat_template_kwargs": {"enable_thinking": false},temperature 0 |
思考模式与 Qwen3.8 保持一致,支持按请求单独开关。
📊 为什么值得试:7.89 GB 的"越级"表现
对比同框架下的 54 GB 全尺寸 Qwen3.8-27B,量化后的 Saluki 在关键能力上不降反升:
| 指标 | Underdog Saluki 27B | 全尺寸 Qwen3.8-27B |
|---|---|---|
| 文件大小 | 7.89 GB | 54 GB |
| 工具调用 Underdog Bench(120 题) | 88 | 84 |
| 并行工具调用(100 题) | 42 | 35 |
| IFEval 指令遵循 | 93.5 | 91.5 |
也就是说:约 1/7 的体积,工具调用和指令遵循能力却更强——这正是它为"保住 tool calling"而调优的结果。
⚠️ 使用前的注意事项
- 竞赛数学能力约为全模型的 82%~85%
- 字母级指令题(回文、元音规则、字母排序)相对较弱
- 约 1/5 的并行调用回复存在轻微格式瑕疵
- 思考模式开启时,回复前会有较长推理过程
- 视觉是可选插件,主文件本身仅支持文本
📄 许可证
本项目采用 Apache 2.0 开源协议(见 LICENSE),可自由用于个人与商业场景;模型构建基于 Qwen3.8-27B 与 Qwen3.8-27B-GSQ-RCO-GGUF,来源信息见 NOTICE。
✅ 小结:下载 → 启动 → 加视觉,3 条命令就能把一款 27B 级、工具调用能力出色的大模型跑进 8 GB 内存档位,是本地部署 Agent 应用的理想选择。