Kestrel-4B-Coder-6bit 实测:HumanEval 83.66% Pass@1,4B 小模型编码能力有多强?

原创2026-11-10 22:38:221,907 阅读
文章标签:大模型代码模型模型量化本地部署微调多模态人工智能

Kestrel-4B-Coder-6bit 实测:HumanEval 83.66% Pass@1,4B 小模型编码能力有多强?

Kestrel-4B-Coder-6bit 是基于 Qwen3.5-4B 微调而来的 4B 编码小模型 Kestrel-4B-Coder 的 6bit 量化检查点(MLX 社区版,Safetensors 格式)。官方作者实测显示,它在 HumanEval 上取得 83.66% Pass@1、HumanEval+ 上取得 79.51% Pass@1,明显超过基座 Qwen3.5-4B 的 72.56%。这篇文章带你快速看懂:这个 4B 小模型的编码能力到底强在哪、6bit 版本为本地推理省下了什么,以及如何在一台普通设备上把它跑起来。

🦅 一、Kestrel-4B-Coder 是什么:把实用编码能力压进 4B 小模型

Kestrel 的设计思路用官方一句话概括:让每个 Token 都算数(Make Each Token Count)。它的目标不是刷分,而是贴近设备的实用智能:写代码、调用工具、做小改动、验证结果。

训练数据(约 15 万条高质量样本)由三部分构成:

数据组成 规模 来源 训练目标
Agent 交互与工具调用 约 4 万条 蒸馏自 Qwen3.8-27B 多轮工具调用、状态跟踪、自我纠错
密集算法与代码生成 未单独列出 蒸馏自 Qwen3.8-Flash-Next / Qwen3.8-Max 复杂算法实现、边界情况、重构
逻辑推理与指令遵循 未单独列出 选自 Nemotron 系列 多步推理、严格遵循指令

数据经过 AST 语法校验、去重清洗和沙箱执行过滤,保证语料以"可执行解"为中心。模型的工作循环也非常简洁:

Read(读题)→ Reason(推理)→ Call Tools(调工具)→ Edit(编辑)→ Test(验证)

完整的背景介绍见仓库内的 README.md。

📊 二、HumanEval 实测成绩:83.66% Pass@1 是什么水平?

作者自测覆盖了 164 道编程任务 × 每题 5 个样本 = 每个模型 820 次生成,测试配置为 Q8_0 GGUF + llama.cpp CUDA + MTP 投机解码(draft 长度 2)、temperature 0.2、top-p 0.95:

指标 Kestrel-4B-Coder (4B) Qwen3.5-4B Qwopus3.5-9B-Coder-Flash (9B) Qwen3.5-9B
HumanEval Pass@1 83.66% 72.56% 91.83% 85.24%
HumanEval Pass@5 94.51% 89.63% 98.17% 97.56%
HumanEval+ Pass@1 79.51% 69.88% 88.05% 80.37%
HumanEval+ Pass@5 92.07% 76.83% 96.95% 95.12%
HumanEval 正确样本数 686 / 820 595 / 820 753 / 820 699 / 820

几个关键结论:

  • 📈 4B 打平甚至反超部分 9B:Kestrel 的 HumanEval+ Pass@1(79.51%)超过了同门 Qwen3.5-9B 的 80.37% 附近水平,与 9B 基座基本持平;
  • 🎯 单样本命中率提升 11 个百分点:相比基座 Qwen3.5-4B,Pass@1 从 72.56% 提升到 83.66%,意味着"一次写对"的概率大幅提高,这对 Agent 反复循环调用工具的场景非常关键;
  • 🔁 Pass@5 达到 94.51%:多给几次机会,几乎都能给出通过方案,适合作为候选答案生成器使用。

说明:Pass@1 是单次尝试的通过率估计(基于每题 5 个样本),Pass@5 衡量的是 5 次尝试中是否至少出现一次通过解。

⚡ 三、本仓库的 6bit 版本:为本地推理省下每一 GB

这个仓库(MLX 社区维护)与原始 GGUF 发布最大的区别,就是 6bit 量化 + MLX/Safetensors 生态,非常适合 Apple Silicon 本地推理。看几个来自配置文件的硬指标:

  • 6bit 量化:config.json 中声明 bits: 6、group_size: 64、mode: affine 的仿射分组量化,比常见 8bit 方案再省约 25% 权重大小;
  • 权重约 3.8 GiB:model.safetensors.index.json 显示总权重 4,085,344,768 字节,配合 KV Cache 和上下文,小内存设备也有机会跑起来(官方目标是合适低比特配置下 <6 GB 内存占用);
  • 保留 MTP 多头:配置中 mtp_num_hidden_layers: 1,即多 Token 预测(Multi-Token Prediction)权重被完整保留,支持投机解码加速生成;
  • 混合线性注意力架构:32 层中每 4 层出现一次 full attention,其余为 linear attention(见 config.json 的 layer_types),对长上下文更友好,max_position_embeddings 高达 262,144;
  • 多模态能力继承:包含视觉/视频 Token(image_token、video_token)与视觉编码器配置,支持图文输入,preprocessor_config.json 定义了图像处理参数;
  • 完整对话模板:chat_template.jinja 内置 thinking(思维链)与 tool call(工具调用)支持,做本地 Agent 时可直接使用。

简单说:这个 6bit 版本用更小的磁盘和内存代价,保留了原始模型"编码 + 工具调用 + 投机解码"的核心能力。

🚀 四、如何下载并本地跑起来

一键克隆仓库

git clone https://gitcode.com/hf_mirrors/mlx-community/Kestrel-4B-Coder-6bit

两种常见部署方式

  1. MLX(Apple Silicon 首选):本仓库为 MLX 社区整理的 6bit Safetensors 检查点,可直接接入 MLX 推理生态,在 Mac 上本地加载,配合 LM Studio 等工具作为本地编码/Agent 后端;
  2. llama.cpp(跨平台):官方同时发布了带 MTP 权重的 Q8_0 GGUF 版本,可用 llama-server 启动一个 OpenAI 兼容的本地服务,推荐采样参数与实测一致:
llama-server --model Kestrel-4B-Coder-MTP-Q8_0.gguf \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  --ctx-size 8192 --reasoning on \
  --temp 0.2 --top-p 0.95 --jinja

💡 小提示:上下文长度(--ctx-size)请按自己设备内存调整;MTP 投机解码需要后端支持并在启动日志中确认生效。生成配置见 generation_config.json,分词器信息见 tokenizer_config.json。

🧪 五、Agent 场景实测:HermesAgent-20 综合 70 分

编码之外,作者还用 BenchLocal 的 HermesAgent-20 套件(Apple Silicon + LM Studio 本地环境)测试了实用 Agent 能力:

维度 Qwen3.5-4B Kestrel-4B-Coder
综合总分 63 70
记忆与回忆(Memory & Recall) 63 88
委托、恢复与边界 21 76
调度与交付 75 75
技能与程序记忆 88 68
工作区编排(Workspace Orchestration) 70 45

可以看到:微调后的模型在记忆回忆和任务边界把控上提升巨大,但在多文件工作区编排和程序性记忆上仍是短板——这也是官方明确的后续改进方向。

📁 六、仓库文件结构速览

文件 说明
README.md 完整项目文档:哲学、数据配方、全部评测结果
config.json 模型架构配置:6bit 量化、MTP、混合注意力、视觉编码器
model.safetensors / model.safetensors.index.json 6bit 量化权重及权重索引(约 3.8 GiB)
chat_template.jinja 对话模板:支持 thinking 与工具调用
tokenizer_config.json / tokenizer.json / vocab.json / merges.txt 分词器组件,最大长度 262,144
preprocessor_config.json / video_preprocessor_config.json 图像/视频预处理参数
generation_config.json 生成默认配置

小结:4B 小模型编码能力有多强?

结论先行:Kestrel-4B-Coder 证明了 4B 级别的小模型在"实用编码"上已经能打——83.66% 的 HumanEval Pass@1 追平 9B 同门,Pass@5 接近 95%。而本仓库的 6bit MLX 版本进一步把部署门槛压低到约 3.8 GiB 权重,配合 MTP 投机解码和多模态支持,是目前在笔记本上做本地编码助手 / 轻量 Agent 实验很务实的选择。

需要注意的是:HumanEval 衡量的是有边界的编程题,不等于仓库级工程能力;复杂多文件任务、长交互历史和模糊的工具反馈仍可能出错——生成后记得人工复查并跑测试。

登录后查看全文
Kestrel-4B-Coder-6bit