8GB跑出27B实力:Underdog-Saluki-27B-1.0 小型本地大模型完全指南
8GB跑出27B实力:Underdog-Saluki-27B-1.0 小型本地大模型完全指南
Underdog-Saluki-27B-1.0 是一款基于 Qwen3.8-27B 深度 2-bit 量化的小型本地大模型,主文件仅 7.89 GB,8 GB 内存/显存即可用 llama.cpp 流畅运行,并且完整保留了 tool calling(工具调用)与 function calling(函数调用)能力,是本地部署 Agent 类应用的理想选择。
🎯 Underdog-Saluki-27B-1.0 是什么?
一句话概括:Qwen3.8-27B 装进 8 GB,工具调用能力几乎不缩水。
| 项目 | 说明 |
|---|---|
| 基座模型 | Qwen3.8-27B |
| 模型文件 | Underdog-Saluki-27B-1.0-IQ2-mix.gguf,7.89 GB(原版 54 GB) |
| 运行方式 | 标准版 llama.cpp 及基于它的应用,开箱即用 |
| 模态 | 文本,配合可选视觉插件支持图片 |
| 视觉插件 | mmproj-Underdog-Saluki-27B-1.0-F16.gguf(928 MB)或 mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf(629 MB) |
| 思考模式 | 默认开启,可按请求切换,与 Qwen3.8 一致 |
它的最大亮点是"小体积 + 强工具调用":
- 工具调用(Underdog Bench):88 分,超过全尺寸模型的 84 分
- 并行工具调用:42,全尺寸模型为 35
- 跨 9 项基准测试,平均能力保留率 96%
📊 性能实测:小体积不打折
以下数据来自官方 README.md,Saluki 均在标准版 llama.cpp 中运行:
工具调用(Underdog Bench,BFCL v4 冻结的 120 个任务)
| 模型 | 体积 | 通过数(/120) |
|---|---|---|
| Underdog Saluki 27B 1.0 | 7.89 GB | 88 |
| Qwen3.8-27B 全尺寸 | 54 GB | 84 |
| Bonsai 2 | 5.95 GB | 70 |
并行工具调用(100 个任务):Saluki 42 vs 全尺寸 35。
Agent、指令遵循、编码与推理
| 基准 | Saluki | 全尺寸 |
|---|---|---|
| SWE-bench Verified(修复 50 个 issue) | 30 | 33 |
| IFEval | 93.5 | 91.5 |
| IFBench | 72.7 | 71.0 |
| MBPP+ | 78.0 | 83.9 |
| MuSR | 67.5 | 79.6 |
| AIME 2025(avg@4) | 79.2 | 96.7 |
可以看到:指令遵循类任务 Saluki 甚至反超全尺寸模型,差距主要体现在竞赛级数学和复杂代码推理上——日常本地使用几乎感知不到。
🚀 最快部署方法:两步跑起本地大模型
第 1 步:下载模型仓库
git clone https://gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0
cd Underdog-Saluki-27B-1.0
第 2 步:用 llama.cpp 启动服务
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768
启动后服务在 8080 端口 提供 OpenAI 兼容的 Chat API,可直接接入各类前端和 Agent 框架。关键参数说明:
| 参数 | 作用 |
|---|---|
--jinja |
启用 Qwen3.8 聊天模板,正确处理工具调用与思考模式 |
-ngl 99 |
将全部层卸载到 GPU |
-fa on |
开启 Flash Attention,提速省显存 |
-c 32768 |
上下文长度 32768 token |
👁️ 添加视觉能力(可选)
主文件为纯文本模型,需要看图时加上视觉插件即可:
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768
之后通过 OpenAI Chat API 发送图片的方式与普通多模态模型完全一致。内存紧张时可改用 Q8_0 版视觉插件(省约 300 MB)。
⚙️ 推荐推理参数设置
| 使用场景 | 推荐设置 |
|---|---|
| 日常对话、推理、指令遵循 | thinking 开启(默认),temperature 0.6,top_p 0.95,top_k 20 |
| 快速直接的工具调用 | thinking 关闭,设置 "chat_template_kwargs": {"enable_thinking": false},temperature 0 |
💡 提示:关闭思考模式后响应会更快、更直接,适合 Agent 流水线中的高频工具调用场景。
⚠️ 已知局限,选前请了解
- 竞赛数学能力约为全尺寸模型的 82%~85%
- 在字符级指令谜题(回文、元音规则、字母排序等)上表现最弱
- 约五分之一的并行调用回复存在轻微格式瑕疵
- thinking 开启时,回答前常有较长的推理过程
- 视觉是附加能力:主文件纯文本,需要图片时再加载 0.6~0.9 GB 的视觉文件
📁 文件说明与许可证
| 文件 | 说明 |
|---|---|
| README.md | 项目说明、快速上手与基准数据 |
| Underdog-Saluki-27B-1.0-IQ2-mix.gguf | 主模型文件(7.89 GB,2-bit 量化) |
| mmproj-Underdog-Saluki-27B-1.0-F16.gguf | 视觉插件 F16 版(928 MB) |
| mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf | 视觉插件 Q8_0 版(629 MB) |
| LICENSE | Apache 2.0 许可证 |
| NOTICE | 上游作品与署名信息 |
Underdog-Saluki-27B-1.0 采用 Apache 2.0 许可,构建于 Qwen 团队的 Qwen3.8-27B 与 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO-GGUF 量化发布版之上(均为 Apache 2.0),详见 NOTICE。
✨ 总结
如果你只想在 8 GB 内存/显存的机器上跑一个"能干活"的 27 级模型——会推理、能写代码、尤其擅长调用工具——Underdog-Saluki-27B-1.0 目前几乎是唯一的选择:7.89 GB 的体积、标准 llama.cpp 直接运行、工具调用分数甚至超过全尺寸原版。下载两个文件、敲一条命令,你的本地 Agent 就上线了。