8GB跑出27B实力:Underdog-Saluki-27B-1.0 小型本地大模型完全指南

原创2026-10-11 13:17:392,636 阅读
文章标签:人工智能大模型本地部署模型量化多模态

8GB跑出27B实力:Underdog-Saluki-27B-1.0 小型本地大模型完全指南

Underdog-Saluki-27B-1.0 是一款基于 Qwen3.8-27B 深度 2-bit 量化的小型本地大模型,主文件仅 7.89 GB,8 GB 内存/显存即可用 llama.cpp 流畅运行,并且完整保留了 tool calling(工具调用)与 function calling(函数调用)能力,是本地部署 Agent 类应用的理想选择。

🎯 Underdog-Saluki-27B-1.0 是什么?

一句话概括:Qwen3.8-27B 装进 8 GB,工具调用能力几乎不缩水。

项目 说明
基座模型 Qwen3.8-27B
模型文件 Underdog-Saluki-27B-1.0-IQ2-mix.gguf,7.89 GB(原版 54 GB)
运行方式 标准版 llama.cpp 及基于它的应用,开箱即用
模态 文本,配合可选视觉插件支持图片
视觉插件 mmproj-Underdog-Saluki-27B-1.0-F16.gguf(928 MB)或 mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf(629 MB)
思考模式 默认开启,可按请求切换,与 Qwen3.8 一致

它的最大亮点是"小体积 + 强工具调用":

  • 工具调用(Underdog Bench):88 分,超过全尺寸模型的 84 分
  • 并行工具调用:42,全尺寸模型为 35
  • 跨 9 项基准测试,平均能力保留率 96%

📊 性能实测:小体积不打折

以下数据来自官方 README.md,Saluki 均在标准版 llama.cpp 中运行:

工具调用(Underdog Bench,BFCL v4 冻结的 120 个任务)

模型 体积 通过数(/120)
Underdog Saluki 27B 1.0 7.89 GB 88
Qwen3.8-27B 全尺寸 54 GB 84
Bonsai 2 5.95 GB 70

并行工具调用(100 个任务):Saluki 42 vs 全尺寸 35。

Agent、指令遵循、编码与推理

基准 Saluki 全尺寸
SWE-bench Verified(修复 50 个 issue) 30 33
IFEval 93.5 91.5
IFBench 72.7 71.0
MBPP+ 78.0 83.9
MuSR 67.5 79.6
AIME 2025(avg@4) 79.2 96.7

可以看到:指令遵循类任务 Saluki 甚至反超全尺寸模型,差距主要体现在竞赛级数学和复杂代码推理上——日常本地使用几乎感知不到。

🚀 最快部署方法:两步跑起本地大模型

第 1 步:下载模型仓库

git clone https://gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0
cd Underdog-Saluki-27B-1.0

第 2 步:用 llama.cpp 启动服务

llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768

启动后服务在 8080 端口 提供 OpenAI 兼容的 Chat API,可直接接入各类前端和 Agent 框架。关键参数说明:

参数 作用
--jinja 启用 Qwen3.8 聊天模板,正确处理工具调用与思考模式
-ngl 99 将全部层卸载到 GPU
-fa on 开启 Flash Attention,提速省显存
-c 32768 上下文长度 32768 token

👁️ 添加视觉能力(可选)

主文件为纯文本模型,需要看图时加上视觉插件即可:

llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768

之后通过 OpenAI Chat API 发送图片的方式与普通多模态模型完全一致。内存紧张时可改用 Q8_0 版视觉插件(省约 300 MB)。

⚙️ 推荐推理参数设置

使用场景 推荐设置
日常对话、推理、指令遵循 thinking 开启(默认),temperature 0.6,top_p 0.95,top_k 20
快速直接的工具调用 thinking 关闭,设置 "chat_template_kwargs": {"enable_thinking": false},temperature 0

💡 提示:关闭思考模式后响应会更快、更直接,适合 Agent 流水线中的高频工具调用场景。

⚠️ 已知局限,选前请了解

  • 竞赛数学能力约为全尺寸模型的 82%~85%
  • 在字符级指令谜题(回文、元音规则、字母排序等)上表现最弱
  • 约五分之一的并行调用回复存在轻微格式瑕疵
  • thinking 开启时,回答前常有较长的推理过程
  • 视觉是附加能力:主文件纯文本,需要图片时再加载 0.6~0.9 GB 的视觉文件

📁 文件说明与许可证

文件 说明
README.md 项目说明、快速上手与基准数据
Underdog-Saluki-27B-1.0-IQ2-mix.gguf 主模型文件(7.89 GB,2-bit 量化)
mmproj-Underdog-Saluki-27B-1.0-F16.gguf 视觉插件 F16 版(928 MB)
mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf 视觉插件 Q8_0 版(629 MB)
LICENSE Apache 2.0 许可证
NOTICE 上游作品与署名信息

Underdog-Saluki-27B-1.0 采用 Apache 2.0 许可,构建于 Qwen 团队的 Qwen3.8-27B 与 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO-GGUF 量化发布版之上(均为 Apache 2.0),详见 NOTICE。

✨ 总结

如果你只想在 8 GB 内存/显存的机器上跑一个"能干活"的 27 级模型——会推理、能写代码、尤其擅长调用工具——Underdog-Saluki-27B-1.0 目前几乎是唯一的选择:7.89 GB 的体积、标准 llama.cpp 直接运行、工具调用分数甚至超过全尺寸原版。下载两个文件、敲一条命令,你的本地 Agent 就上线了。

登录后查看全文
Underdog-Saluki-27B-1.0