为什么偏偏是 Qwen3.8-27B:Underdog 选基座模型时到底在想什么

原创2026-10-12 09:47:422,218 阅读
文章标签:人工智能大模型本地部署模型量化多模态

为什么偏偏是 Qwen3.8-27B:Underdog 选基座模型时到底在想什么

当一个 7.89 GB 的模型在工具调用基准上反超 54 GB 的原版全尺寸模型时,吃瓜群众的第一反应是"量化魔法"。但真正懂行的人会追问另一层问题:凭什么压的是 Qwen3.8-27B,而不是别的? Underdog 的 Saluki 27B 恰好把这个问题摆到了台面上——它既是一份量化作品的成绩单,也是一份基座模型选择决策的可复现样本。本文不讨论"2-bit 量化为什么能保住能力"这种已被反复讲过的话题,而是顺着 Underdog 的仓库与官方文档,拆解"选基座"这一步的完整思路:为什么是 27B、为什么是 Qwen、以及这套选择能给所有做本地量化模型的人留下什么方法论。

先把结论亮出来:README 第一行就写明了取舍

打开仓库根目录的 README.md,第一句话没有一句废话:

Qwen3.8-27B in under 8 GB, tuned to keep tool calling intact.

"塞进 8 GB 以内,调优到工具调用不缩水"——这句话同时定义了三个约束:体积、能力、以及该保的能力是什么。紧接着的成绩表更有意思:

Tool calling (Underdog Bench) Parallel tool calls Average retention Size
88 vs 84 for the full model 42 vs 35 for the full model 96% across 9 benchmarks 7.89 GB vs 54 GB

注意 retention 的措辞是"9 个基准平均保留 96%"——这是平均。真实的账本在后面的 Limitations 一节里算得清清楚楚:竞赛数学只保住 82%~85%,字母级指令谜题(回文、元音规则)是最弱项。换句话说,Underdog 从一开始就没打算"无损压缩",而是明确知道量化会打在哪几根肋骨上,并确认这些肋骨不是自己要的。

27B:量化性价比的甜点位,而不是参数竞赛

从 54 GB 到 7.89 GB 的账

全尺寸 Qwen3.8-27B 大约 54 GB,Saluki 的 GGUF 主文件 Underdog-Saluki-27B-1.0-IQ2-mix.gguf 在仓库中对应的 LFS 指针记录的字节数是 7,898,369,152(约 7.89 GB),压缩比接近 6.8 倍。这个数字放到真实硬件语境里才有意义:

  • 官方页面写得很直白:runs on a 16 GB laptop;
  • 加上 mmproj 视觉附件(F16 版 927,606,912 字节约 928 MB,Q8_0 版 629,246,976 字节约 629 MB),一台带独立显卡的消费级笔记本就能同时吃下语言与视觉能力;
  • llama.cpp 的 -ngl 99 -fa on 全量 offload 意味着它甚至不需要 27B 参数级别的显存,而是 8 GB 显存级别的显存。

这就是 27B 的独特生态位:7B~8B 级别的模型量化后跑得动但干不了 agent 的活,70B 级别的模型能力强但量化到 2-bit 也塞不进 16 GB 笔记本。27B 是"量化后剩余智能仍然够用"的最小甜点位。

同台竞技才能看出甜点位在哪

Underdog 自己提供了最硬的证据——把 Saluki 和同尺寸区间的其他量化方案放到同一个测试台上(Underdog Bench,120 道取自 Berkeley Function Calling Leaderboard 的任务,9 月 27 日冻结,所有模型 thinking off、temperature 0、同一 harness):

Model Size Passed (of 120)
Underdog Saluki 27B 1.0 7.89 GB 88
Qwen3.8-27B, full size 54 GB 84
Bonsai 2 5.95 GB 70

5.95 GB 的 Bonsai 2 更小,但在工具调用上只拿下 70/120——体积优势换来的是明显的能力塌陷。而 Saluki 在把体积做到 7.89 GB 的同时,还拿下了原版 84 道题里的 76 道。"更小"只有在不越过能力红线时才成立,27B 这个量级正是那条红线的位置。

为什么偏偏是 Qwen:底子、生态与"可再剪裁性"

底子一:工具调用与指令遵循是 Qwen 系的看家本领

Saluki 的全部卖点建立在"量化后工具调用不缩水"上,而这依赖基座的原始能力结构。Qwen 系列在 function calling 上的积累是公开的——多轮工具调用、并行调用、参数填充这些能力在 Qwen 的预训练/后训练阶段就被系统性强化过。这在 Saluki 的基准里能看到直接的痕迹:

  • 单函数选择与多函数挑选("选对工具"):24 + 24 道任务里 Saluki 拿到 47/48,远超同为 2-bit 的 Mia(31/48)——这是 agent 助手每天干得最多的活;
  • 并行工具调用:100 道 BFCL v4 并行任务,严格评分下 Saluki 42、全尺寸 35、Bonsai 2 只有 11;
  • 指令遵循:IFEval (prompt-loose) 93.5 vs 全尺寸公开成绩 91.5,IFBench 72.7 vs 71.0——指令遵循是 agent 稳定执行长链条任务的地基。

底子二:中英双语与多模态资产

Qwen 由阿里云 Qwen 团队发布,天然是中英双语训练的底子,对中文指令、中文工具描述符、中文 agent 场景的适配成本最低。同时 Qwen3.8 本身是多模态模型,这给了量化方案一个"可剪裁"的选项:主文件保持纯文本(这也是 IT 之家报道里"仅保留文字 I/O 能力"说法的来源),需要视觉时再挂 mmproj-Underdog-Saluki-27B-1.0-F16.gguf 或 Q8_0 版附件。基座多模态 → 下游可按需拆装,这是选择基座时很少有人算进去的资产。

底子三:Apache 2.0 与"站在别人量化的肩膀上"

NOTICE 里写得很清楚,Saluki 不是一个从零训的模型,而是站在两个 Apache 2.0 作品之上:

  1. Qwen/Qwen3.8-27B(Qwen 团队,阿里云);
  2. ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF(即 IQ2_XS 文件)——Saluki 正是在这个现成的 2-bit 量化发布上再调优的。

这一点非常关键:选基座不只是选"哪个模型",而是选"哪个模型周围已经有高质量量化资产"。ISTA-DASLab 的 GSQ-RCO(Generalized Sparse Quantization with Rotation and Coordinate descent)量化方案是 2-bit 量化里公认的强手,Underdog 直接在其输出上做定向调优(保工具调用),省掉了从零摸索 2-bit 压缩配方的成本。这也是为什么 README 的 base_model 字段同时列了两个来源。

底子四:同尺寸区间的整体实力验证

Underdog 官方在同题材的另一篇说明(Underdog 27B)里给出过佐证:基于同一基座的自研模型在 Artificial Analysis 的 Intelligence Index 上排到 142 个同尺寸开源模型中的第 1,并在多项指标上超过六个月前的 frontier 模型。虽然那是 Underdog 自家后训练的结果,但它说明 Qwen3.8-27B 这个基座的"天花板"足够高——量化能保住的能力上限,由基座决定。

一个反直觉的细节:为什么量化后反而"更强"了

Saluki 在 Underdog Bench(88)和并行调用(42)上都反超了全尺寸模型(84 / 35),官方自己泼了一盆冷水:120 道题的规模有限,领先的一部分可能是 run-to-run 波动。但方法层面有个真实原因值得记录:全尺寸模型在 thinking off、temperature 0 的严格设置下,面对需要"一次回多个调用"的任务时常常只发一个调用就停;而量化 + 后训练的 Saluki 在同样的低随机性设置下反而更"话痨"地补齐了所有调用。这提醒所有做量化的人一件事:基准测试测的是"模型×采样设置×推理运行时"的联合行为,量化模型不是原模型的线性劣化——它可以是一个行为不同的模型。

这套选择给"量化什么模型"留下的方法论

方法一:先定产品要保的能力,再选基座

Underdog 是"application-first"的公司,产品是跑在 Mac 上的本地 agent(邮件、日历、记事、网页代办)。这类产品的核心能力是工具选择 + 指令遵循 + 隐私(数据不出设备),而不是数学竞赛。于是选基座的第一性标准就变成:谁的 function calling 底子最硬、指令遵循最稳、且体积适合本地部署——Qwen3.8-27B 三条全中。选基座不是在"最强模型"里挑,而是在"你的能力需求向量"里挑余弦相似度最高的那个。

方法二:用冻结的、任务导向的基准做选择,而不是看榜单总分

Underdog Bench 的 120 道任务来自 BFCL v4,且在测试任何模型之前就冻结(9 月 27 日)。冻结的意义在于防止"先看题再选模型"的过拟合。横向对比时还要拉上同类方案:Main(91)、Saluki(88)、Mia 2-bit(85)、ISTA 2-bit(76)、Bonsai 2(70)、全尺寸(84)——"比原版强"不是目标,"比同体积区间的所有选择强"才是。

方法三:在最终运行形态里训练和测试

Underdog 27B 的说明里有一句被很多人忽略的话:"We also train it in the same compact form it runs in."——后训练直接在压缩形态上进行,这让模型在量化后的稀疏/低比特表示下依然保持能力,而不是先训全尺寸再指望量化无损搬运。测试同理:Saluki 跑在 stock llama.cpp 上,而对比对象 Mia 需要 ExLlamaV3 运行时。"能不能在我的运行时里跑"本身就是选型的一票否决项——这也是仓库 README 反复强调 --jinja 开启 Qwen3.8 chat template、llama-server 原生讲 OpenAI chat API 的原因。

方法四:把局限写成配置建议,而不是藏起来

README.md 的 Limitation 一节和参数表其实是同一件事的两面:

Use Settings
General use, reasoning, instructions thinking on (default), temperature 0.6, top_p 0.95, top_k 20
Fast, direct tool calls thinking off with "chat_template_kwargs": {"enable_thinking": false}, temperature 0
  • 知道"约 1/5 的并行调用回复有轻微格式滑点",于是建议用宽容的 tool-call parser(宽容评分下 55/100,严格评分 42/100);
  • 知道"thinking 开着会啰嗦",于是给出"快速工具调用请关 thinking"的明确操作;
  • 知道"字母级指令是软肋",于是直接建议别让它做回文这类任务。

诚实的局限清单 + 针对性的运行参数 = 一份可立即上手的部署说明书。这比任何营销话术都有传播价值。

一次完整的本地验证

仓库里的 README.md 给出了从零跑通的全部命令,核心只有两步:

huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768

需要视觉时补一个 mmproj 附件并把 --mmproj 传给 llama-server,然后照常用 OpenAI chat API 发图。--jinja 负责打开 Qwen3.8 的 chat template——工具调用和 thinking 的格式处理都由它接管。整条链路没有任何自定义编译,这正是"选基座方法论"的最后一个闭环:从模型、到量化、到运行时、到 API 兼容层,全部落在标准生态里。

结语

回到标题的问题:为什么偏偏是 Qwen3.8-27B?因为 Underdog 要的不是"最强模型",而是一个在 16 GB 笔记本上、量化到 2-bit 之后、仍然擅长选工具、填参数、连调用、且中英文都好使、还允许自由再发布的基座。27B 提供了量化性价比的甜点位,Qwen 提供了工具调用与指令遵循的能力底子与成熟的 2-bit 量化生态,而 Underdog 用冻结基准、同台横向对比和诚实局限清单,把这套选择做成了可以复用的方法。量化从来不是"压什么都行",而是先想清楚要保住哪根能力支柱,再去找那根支柱最粗的基座——Saluki 只是这个思路的一次公开演示。

登录后查看全文
Underdog-Saluki-27B-1.0