Kestrel-4B-Coder-6bit 实测:HumanEval 83.66% Pass@1,4B 小模型编码能力有多强?
Kestrel-4B-Coder-6bit 实测:HumanEval 83.66% Pass@1,4B 小模型编码能力有多强?
Kestrel-4B-Coder-6bit 是基于 Qwen3.5-4B 微调而来的 4B 编码小模型 Kestrel-4B-Coder 的 6bit 量化检查点(MLX 社区版,Safetensors 格式)。官方作者实测显示,它在 HumanEval 上取得 83.66% Pass@1、HumanEval+ 上取得 79.51% Pass@1,明显超过基座 Qwen3.5-4B 的 72.56%。这篇文章带你快速看懂:这个 4B 小模型的编码能力到底强在哪、6bit 版本为本地推理省下了什么,以及如何在一台普通设备上把它跑起来。
🦅 一、Kestrel-4B-Coder 是什么:把实用编码能力压进 4B 小模型
Kestrel 的设计思路用官方一句话概括:让每个 Token 都算数(Make Each Token Count)。它的目标不是刷分,而是贴近设备的实用智能:写代码、调用工具、做小改动、验证结果。
训练数据(约 15 万条高质量样本)由三部分构成:
| 数据组成 | 规模 | 来源 | 训练目标 |
|---|---|---|---|
| Agent 交互与工具调用 | 约 4 万条 | 蒸馏自 Qwen3.8-27B | 多轮工具调用、状态跟踪、自我纠错 |
| 密集算法与代码生成 | 未单独列出 | 蒸馏自 Qwen3.8-Flash-Next / Qwen3.8-Max | 复杂算法实现、边界情况、重构 |
| 逻辑推理与指令遵循 | 未单独列出 | 选自 Nemotron 系列 | 多步推理、严格遵循指令 |
数据经过 AST 语法校验、去重清洗和沙箱执行过滤,保证语料以"可执行解"为中心。模型的工作循环也非常简洁:
Read(读题)→ Reason(推理)→ Call Tools(调工具)→ Edit(编辑)→ Test(验证)
完整的背景介绍见仓库内的 README.md。
📊 二、HumanEval 实测成绩:83.66% Pass@1 是什么水平?
作者自测覆盖了 164 道编程任务 × 每题 5 个样本 = 每个模型 820 次生成,测试配置为 Q8_0 GGUF + llama.cpp CUDA + MTP 投机解码(draft 长度 2)、temperature 0.2、top-p 0.95:
| 指标 | Kestrel-4B-Coder (4B) | Qwen3.5-4B | Qwopus3.5-9B-Coder-Flash (9B) | Qwen3.5-9B |
|---|---|---|---|---|
| HumanEval Pass@1 | 83.66% | 72.56% | 91.83% | 85.24% |
| HumanEval Pass@5 | 94.51% | 89.63% | 98.17% | 97.56% |
| HumanEval+ Pass@1 | 79.51% | 69.88% | 88.05% | 80.37% |
| HumanEval+ Pass@5 | 92.07% | 76.83% | 96.95% | 95.12% |
| HumanEval 正确样本数 | 686 / 820 | 595 / 820 | 753 / 820 | 699 / 820 |
几个关键结论:
- 📈 4B 打平甚至反超部分 9B:Kestrel 的 HumanEval+ Pass@1(79.51%)超过了同门 Qwen3.5-9B 的 80.37% 附近水平,与 9B 基座基本持平;
- 🎯 单样本命中率提升 11 个百分点:相比基座 Qwen3.5-4B,Pass@1 从 72.56% 提升到 83.66%,意味着"一次写对"的概率大幅提高,这对 Agent 反复循环调用工具的场景非常关键;
- 🔁 Pass@5 达到 94.51%:多给几次机会,几乎都能给出通过方案,适合作为候选答案生成器使用。
说明:Pass@1 是单次尝试的通过率估计(基于每题 5 个样本),Pass@5 衡量的是 5 次尝试中是否至少出现一次通过解。
⚡ 三、本仓库的 6bit 版本:为本地推理省下每一 GB
这个仓库(MLX 社区维护)与原始 GGUF 发布最大的区别,就是 6bit 量化 + MLX/Safetensors 生态,非常适合 Apple Silicon 本地推理。看几个来自配置文件的硬指标:
- 6bit 量化:config.json 中声明
bits: 6、group_size: 64、mode: affine的仿射分组量化,比常见 8bit 方案再省约 25% 权重大小; - 权重约 3.8 GiB:model.safetensors.index.json 显示总权重 4,085,344,768 字节,配合 KV Cache 和上下文,小内存设备也有机会跑起来(官方目标是合适低比特配置下 <6 GB 内存占用);
- 保留 MTP 多头:配置中
mtp_num_hidden_layers: 1,即多 Token 预测(Multi-Token Prediction)权重被完整保留,支持投机解码加速生成; - 混合线性注意力架构:32 层中每 4 层出现一次 full attention,其余为 linear attention(见 config.json 的
layer_types),对长上下文更友好,max_position_embeddings高达 262,144; - 多模态能力继承:包含视觉/视频 Token(image_token、video_token)与视觉编码器配置,支持图文输入,preprocessor_config.json 定义了图像处理参数;
- 完整对话模板:chat_template.jinja 内置 thinking(思维链)与 tool call(工具调用)支持,做本地 Agent 时可直接使用。
简单说:这个 6bit 版本用更小的磁盘和内存代价,保留了原始模型"编码 + 工具调用 + 投机解码"的核心能力。
🚀 四、如何下载并本地跑起来
一键克隆仓库
git clone https://gitcode.com/hf_mirrors/mlx-community/Kestrel-4B-Coder-6bit
两种常见部署方式
- MLX(Apple Silicon 首选):本仓库为 MLX 社区整理的 6bit Safetensors 检查点,可直接接入 MLX 推理生态,在 Mac 上本地加载,配合 LM Studio 等工具作为本地编码/Agent 后端;
- llama.cpp(跨平台):官方同时发布了带 MTP 权重的 Q8_0 GGUF 版本,可用
llama-server启动一个 OpenAI 兼容的本地服务,推荐采样参数与实测一致:
llama-server --model Kestrel-4B-Coder-MTP-Q8_0.gguf \
--spec-type draft-mtp --spec-draft-n-max 2 \
--ctx-size 8192 --reasoning on \
--temp 0.2 --top-p 0.95 --jinja
💡 小提示:上下文长度(
--ctx-size)请按自己设备内存调整;MTP 投机解码需要后端支持并在启动日志中确认生效。生成配置见 generation_config.json,分词器信息见 tokenizer_config.json。
🧪 五、Agent 场景实测:HermesAgent-20 综合 70 分
编码之外,作者还用 BenchLocal 的 HermesAgent-20 套件(Apple Silicon + LM Studio 本地环境)测试了实用 Agent 能力:
| 维度 | Qwen3.5-4B | Kestrel-4B-Coder |
|---|---|---|
| 综合总分 | 63 | 70 |
| 记忆与回忆(Memory & Recall) | 63 | 88 |
| 委托、恢复与边界 | 21 | 76 |
| 调度与交付 | 75 | 75 |
| 技能与程序记忆 | 88 | 68 |
| 工作区编排(Workspace Orchestration) | 70 | 45 |
可以看到:微调后的模型在记忆回忆和任务边界把控上提升巨大,但在多文件工作区编排和程序性记忆上仍是短板——这也是官方明确的后续改进方向。
📁 六、仓库文件结构速览
| 文件 | 说明 |
|---|---|
| README.md | 完整项目文档:哲学、数据配方、全部评测结果 |
| config.json | 模型架构配置:6bit 量化、MTP、混合注意力、视觉编码器 |
| model.safetensors / model.safetensors.index.json | 6bit 量化权重及权重索引(约 3.8 GiB) |
| chat_template.jinja | 对话模板:支持 thinking 与工具调用 |
| tokenizer_config.json / tokenizer.json / vocab.json / merges.txt | 分词器组件,最大长度 262,144 |
| preprocessor_config.json / video_preprocessor_config.json | 图像/视频预处理参数 |
| generation_config.json | 生成默认配置 |
小结:4B 小模型编码能力有多强?
结论先行:Kestrel-4B-Coder 证明了 4B 级别的小模型在"实用编码"上已经能打——83.66% 的 HumanEval Pass@1 追平 9B 同门,Pass@5 接近 95%。而本仓库的 6bit MLX 版本进一步把部署门槛压低到约 3.8 GiB 权重,配合 MTP 投机解码和多模态支持,是目前在笔记本上做本地编码助手 / 轻量 Agent 实验很务实的选择。
需要注意的是:HumanEval 衡量的是有边界的编程题,不等于仓库级工程能力;复杂多文件任务、长交互历史和模糊的工具反馈仍可能出错——生成后记得人工复查并跑测试。