Underdog-Saluki-27B-1.0 快速上手教程:3条命令在 llama.cpp 上跑起7.89GB量化大模型

原创2026-10-11 12:48:091,894 阅读
文章标签:人工智能大模型本地部署模型量化多模态

Underdog-Saluki-27B-1.0 快速上手教程:3条命令在 llama.cpp 上跑起7.89GB量化大模型

Underdog-Saluki-27B-1.0 是基于 Qwen3.8-27B 深度调优的 GGUF 量化大模型,文件仅 7.89 GB 却保留了高质量的**工具调用(tool calling)**能力,原生兼容 llama.cpp。本文带你用 3 条命令完成下载、启动服务和启用视觉,轻松在本地部署这款高性价比大模型。

📦 先认识一下:仓库里有什么

这个仓库非常"干净"——没有复杂代码,核心就是几个 GGUF 模型文件,下载即可用:

文件 大小 作用
Underdog-Saluki-27B-1.0-IQ2-mix.gguf 7.89 GB 主模型文件(IQ2-mix 量化,纯文本)
mmproj-Underdog-Saluki-27B-1.0-F16.gguf 928 MB 视觉插件(高精度 F16)
mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf 629 MB 视觉插件(省内存 Q8_0)
README.md - 官方文档:快速开始、参数、基准测试
LICENSE - Apache 2.0 许可证
NOTICE - 版权与来源说明

💡 完整说明请阅读 README.md;模型基于 Qwen3.8-27B 与 ISTA-DASLab 的 GGUF 量化版本,详见 NOTICE。

🚀 三条命令快速上手

前提:已安装 llama.cpp 生态的 llama-server 与 huggingface-cli 工具。

第 1 条命令:下载主模型文件(7.89 GB)

huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .

一条命令即可拉取 7.89 GB 的 IQ2-mix 量化模型,下载完成后文件就保存在当前目录。

第 2 条命令:启动 llama-server 推理服务

llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768

服务启动后,会在 8080 端口提供 OpenAI 兼容的 Chat API,可以直接对接各类应用和客户端。

第 3 条命令:需要看图?加一个视觉参数即可

主模型是纯文本的,想让它"看图",先下载视觉插件(约 0.6~0.9 GB),启动时加上 --mmproj:

llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768

之后通过 OpenAI Chat API 发送图片的方式和平时一模一样,无需改代码。

⚙️ 启动参数逐个看懂

参数 含义
-m 指定主模型 GGUF 文件
--jinja 启用 Qwen3.8 聊天模板,负责处理工具调用与思考模式
-ngl 99 全部层卸载到 GPU
-fa on 开启 Flash Attention,提速又省显存
-c 32768 32K 上下文长度
--mmproj 加载视觉投影文件,开启图像理解

🎯 推荐用法:思考模式与采样设置

使用场景 推荐设置
通用对话、推理、指令跟随 思考模式开启(默认),temperature 0.6、top_p 0.95、top_k 20
快速直接的工具调用 思考模式关闭:请求中传 "chat_template_kwargs": {"enable_thinking": false},temperature 0

思考模式与 Qwen3.8 保持一致,支持按请求单独开关。

📊 为什么值得试:7.89 GB 的"越级"表现

对比同框架下的 54 GB 全尺寸 Qwen3.8-27B,量化后的 Saluki 在关键能力上不降反升:

指标 Underdog Saluki 27B 全尺寸 Qwen3.8-27B
文件大小 7.89 GB 54 GB
工具调用 Underdog Bench(120 题) 88 84
并行工具调用(100 题) 42 35
IFEval 指令遵循 93.5 91.5

也就是说:约 1/7 的体积,工具调用和指令遵循能力却更强——这正是它为"保住 tool calling"而调优的结果。

⚠️ 使用前的注意事项

  • 竞赛数学能力约为全模型的 82%~85%
  • 字母级指令题(回文、元音规则、字母排序)相对较弱
  • 约 1/5 的并行调用回复存在轻微格式瑕疵
  • 思考模式开启时,回复前会有较长推理过程
  • 视觉是可选插件,主文件本身仅支持文本

📄 许可证

本项目采用 Apache 2.0 开源协议(见 LICENSE),可自由用于个人与商业场景;模型构建基于 Qwen3.8-27B 与 Qwen3.8-27B-GSQ-RCO-GGUF,来源信息见 NOTICE。

✅ 小结:下载 → 启动 → 加视觉,3 条命令就能把一款 27B 级、工具调用能力出色的大模型跑进 8 GB 内存档位,是本地部署 Agent 应用的理想选择。

登录后查看全文
Underdog-Saluki-27B-1.0