HermesAgent-20评测解读:Kestrel-4B-Coder本地Agent强项与短板全盘点
HermesAgent-20评测解读:Kestrel-4B-Coder本地Agent强项与短板全盘点
本文带你快速看懂 HermesAgent-20 评测 中 Kestrel-4B-Coder 的表现。Kestrel-4B-Coder 是一个基于 Qwen3.5-4B 微调的 4B 级本地编码与 Agent 模型,主打“贴近设备”的实用智能:写代码、调工具、跑本地工作流。下面以 HermesAgent-20 的五维分数为主线,盘点它的强项与短板,并附上关键配置文件的阅读指引。
Kestrel-4B-Coder 是什么:先认识这个本地编码 Agent 模型
在开始解读分数之前,先快速建立对这个模型的整体印象:
- 定位:紧凑的编码 + Agent 微调模型,目标是让笔记本、个人工作站等本地硬件能跑起“读代码 → 推理 → 调用工具 → 修改 → 测试”的完整循环
- 基座:由
unsloth/Qwen3.5-4B合并而来,保留 MTP(多词元预测)权重,可用于投机解码加速 - 量化:本仓库为 8-bit 版本,config.json 中可见
bits: 8、group_size: 64的 affine 量化配置 - 多模态:继承视觉组件,tokenizer_config.json 中定义了
image_token,也带视频处理配置 video_preprocessor_config.json
一句话总结:它是为“本机干活”而不是“云端刷榜”设计的模型,所以 Agent 评测比纯代码刷分更能反映它的价值。
HermesAgent-20 评测环境:70 vs 63 的总分意味着什么
HermesAgent-20 来自开源评测工具 BenchLocal,专门评估“实用型 Agent 工作流”,而不是学术基准。本次报告的本地环境是 Apple Silicon Mac + LM Studio。
| 对比项 | Qwen3.5-4B(基线) | Kestrel-4B-Coder |
|---|---|---|
| HermesAgent-20 综合分 | 63 | 70 |
⚠️ 注意:这是 BenchLocal 的综合分数,不是通过率。基线运行使用了 20/20 的结果记录数,且基线走的是 MLX 后端(
qwen3.5-4b-mlx via LM Studio)。两边的运行后端和量化设置并非完全受控对照,应把它看作一次本地观测性对比,而不是微调效果的严格测量。
强项全盘点:记忆召回与委派恢复是最大亮点
把综合分拆开看五个维度,Kestrel-4B-Coder 的强项非常集中:
| 能力维度 | Qwen3.5-4B | Kestrel-4B-Coder | 差距 |
|---|---|---|---|
| Memory & Recall(记忆与召回) | 63 | 88 | +25 🚀 |
| Delegation, Recovery & Boundaries(委派、恢复与边界) | 21 | 76 | +55 🚀 |
| Scheduling & Delivery(调度与交付) | 75 | 75 | 持平 |
| Skills & Procedural Memory(技能与过程记忆) | 88 | 68 | -20 |
| Workspace Orchestration(工作区编排) | 70 | 45 | -25 |
强项解读:
- 记忆与召回(88 分):在多轮任务中记住上下文、召回先前信息的能力显著增强,这对需要来回多轮的本地 Agent 场景很关键
- 委派、恢复与边界(76 分 vs 基线 21 分):这是全场最大的提升。模型更清楚“什么时候该调用工具、什么时候该停”,出错后的自我恢复能力也更强——这正对应训练数据中约 4 万条、从 Qwen3.8-27B 蒸馏而来的 Agent 交互与工具使用样本
- 调度与交付(75 分):与基线持平,说明微调没有拖累它原本的交付节奏
短板全盘点:工作区编排与过程记忆拖了后腿
短板同样清晰,而且官方 README 也明确把它们列为后续开发方向:
- Workspace Orchestration(45 分):在涉及多文件、跨步骤的“工作区操作”上明显弱于基线的 70 分。典型场景比如:同时改动多个文件、维护文件间一致性、长任务中途恢复——这类任务仍可能出错
- Skills & Procedural Memory(68 分):基线高达 88 分。说明 Kestrel 在“把过往操作沉淀为可复用技能/流程”方面还有空间,复杂多文件任务和长交互历史下仍需人工复核
💡 实用建议:把它当作“小型重构 + 单点修改 + 工具调用”的好帮手,但对复杂的多文件工程任务,务必检查生成的改动并先跑测试再采用。
编码能力交叉验证:HumanEval 分数佐证微调有效
HermesAgent-20 是 Agent 侧的证据,编码侧也有作者实测数据(Q8_0 GGUF、llama.cpp CUDA、temperature 0.2、top-p 0.95):
| 指标 | Kestrel-4B-Coder | Qwen3.5-4B |
|---|---|---|
| HumanEval Pass@1 | 83.66% | 72.56% |
| HumanEval+ Pass@1 | 79.51% | 69.88% |
| HumanEval Pass@5 | 94.51% | 89.63% |
在 164 道编程题、每题 5 次采样的设置下,Kestrel 全面超过基座,说明“紧凑思考 + 工具调用”的微调没有牺牲代码质量。不过 HumanEval 衡量的是有界的编程任务,不能外推为仓库级软件工程能力。
快速上手:本仓库关键文件导读
如果你打算本地跑起来,仓库里这几份文件值得先看:
| 文件 | 作用 |
|---|---|
| README.md | 完整的评测数据、运行命令与参数说明 |
| config.json | 架构信息:32 层、MTP 层数、8-bit 量化配置 |
| chat_template.jinja | 对话与工具调用的模板,聊天时务必使用仓库自带模板 |
| special_tokens_map.json | 特殊词元(思考块、图像、视频等标记) |
| generation_config.json | 生成配置(eos/pad 词元、缓存开关) |
| model.safetensors.index.json | 权重分片索引,可核对参数完整性 |
官方推荐的运行方式(摘自 README.md):用支持 Qwen3.5 与 draft-MTP 的 llama.cpp 构建启动本地 OpenAI 兼容服务,关键参数包括 --spec-type draft-mtp、--spec-draft-n-max 2、--temp 0.2、--top-p 0.95,并开启思考模式(--reasoning on)。
总结:谁适合用 Kestrel-4B-Coder
✅ 适合:想在本地硬件上跑编码助手的开发者;做小范围重构、本地调试、工具辅助开发;研究轻量级 Agent 循环的实验者
⚠️ 注意:复杂多文件任务、长交互历史、含糊的工具反馈下仍可能翻车;<6 GB 内存占用目前只是目标值而非实测结果;视觉质量未在本卡中评测
从 HermesAgent-20 的分数看,Kestrel-4B-Coder 的微调方向选得很准:用 4B 的体积换来了更可靠的工具调用与自我恢复能力,这正是本地 Agent 最稀缺的东西。短板(工作区编排、过程记忆)已被官方明确列为下一步重点,值得持续关注后续版本的迭代。