如何把K2-Horizon-MoVA-36B-A4B-GGUF变成强力Agent?工具调用json/xml格式与reasoning_parser完整指南
如何把K2-Horizon-MoVA-36B-A4B-GGUF变成强力Agent?工具调用json/xml格式与reasoning_parser完整指南
想让本地大模型真正当"助手"干活,光会聊天可不够——关键要让它可靠地调用工具并先思考再回答。本文带你用 K2-Horizon-MoVA-36B-A4B-GGUF 这个开源 GGUF 模型,通过开启 reasoning_parser 与 tool-call-parser、切换工具调用的 json / xml 格式,一步步把它变成一个强力 Agent。即使是新手,照着配置也能轻松上手。
K2-Horizon-MoVA-36B-A4B 是一款采用 Mixture-of-Experts(MoE,混合专家)+ MoVA 注意力的模型,总参数 36B、每个 token 仅激活 4B,在 Agent 工具调用与推理基准上表现突出,同时原生支持 512K 上下文。本仓库提供的是 GGUF 格式(保留 BF16 精度,内含 tokenizer 元数据与 chat template),适合用 llama.cpp 等推理框架部署。
为什么它能成为强力 Agent?
在投入配置前,先看看它凭什么"强"。官方在 README.md 中列出的核心能力:
| 维度 | 代表基准 | 成绩 |
|---|---|---|
| 🤖 智能体工具调用 | tau3-Banking | 26.8(同档最高) |
| 💻 Agent 终端编程 | Terminal-Bench 2.1 | 58.6(同档最高) |
| 🔬 专家级推理 | GPQA Diamond | 80.8 |
| 📚 长上下文推理 | AA-LCR | 66.3 |
亮点:在"Agent 工具调用"与"终端编程"这两项真正决定助手可用性的能力上,它以 4B 激活参数超过了体量数倍、甚至 15 倍的开源稠密模型。这正是我们把它当 Agent 用的底气。
第一步:开启 reasoning_parser 与 tool-call-parser
把一个普通模型变成 Agent,本质是打开两个"解析开关":
--reasoning-parser k2_horizon:让服务端识别模型的"思考过程",把推理内容从最终答案中分离出来。--tool-call-parser k2_horizon:让服务端按模型约定的格式解析工具调用,实现自动工具选择(auto tool choice)。--enable-auto-tool-choice:允许模型自主决定何时调用哪个工具。
在 vLLM 或 SGLang 中,只需在启动命令里带上这两个 parser 即可(官方已验证的配方见 README.md 的 Quickstart 部分):
# vLLM 关键参数
vllm serve IFM/K2-Horizon-MoVA-36B-A4B \
--tensor-parallel-size 2 \
--dtype bfloat16 \
--max-model-len 131072 \
--reasoning-parser k2_horizon \
--tool-call-parser k2_horizon \
--enable-auto-tool-choice
SGLang 的用法一致,同样加上 --reasoning-parser k2_horizon 和 --tool-call-parser k2_horizon。
💡 记住一条黄金法则:聊天场景保留 reasoning parser,Agent 场景再加 tool-call parser;而纯补全式(completion)生成则把两者都关掉。
第二步:选择工具调用格式 json / xml / xml_typed
模型的 chat template 支持多种工具调用格式,可随请求切换,默认是 xml:
| 格式值 | 说明 |
|---|---|
json |
以 JSON 结构化描述工具参数,最易被通用程序解析 |
xml |
以 XML 标签包裹工具调用(默认,可读性好) |
xml_typed |
在 XML 基础上增加类型标注,参数结构更严格 |
切换方式:通过请求中的 chat_template_kwargs 传入 tool_call_format,例如:
extra_body={"chat_template_kwargs": {"reasoning_effort": "high", "tool_call_format": "xml"}}
⚠️ 无论选哪种格式,都要确保服务端
--tool-call-parser k2_horizon保持开启,否则无法正确解析你选定的格式。选型建议:对接严格的结构化后端选
json或xml_typed;追求可读性与稳定,直接用默认的xml。
第三步:锁定最佳推理参数
官方推荐(也是取得基准成绩所用)的参数组合,强烈建议照搬:
reasoning_effort = "high":所有公开结果都用高推理档位,每次请求都应传入。temperature = 1.0top_p = 0.95max_tokens = 32768:给足思考空间。
推理深度由 chat_template_kwargs 里的 reasoning_effort 按请求控制。响应中,思考过程放在 reasoning_content 字段,最终答案放在 content 字段——分离干净,方便前端展示"先思考后回答"的体验。
完整调用示例
下面是一个典型的 OpenAI 兼容接口调用,展示如何同时拿到"思考 + 答案",并指定工具调用格式:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="IFM/K2-Horizon-MoVA-36B-A4B",
messages=[{"role": "user", "content": "帮我查询当前时间,并解释为什么。"}],
temperature=1.0,
top_p=0.95,
max_tokens=32768,
extra_body={"chat_template_kwargs": {"reasoning_effort": "high", "tool_call_format": "xml"}},
)
msg = response.choices[0].message
print("Reasoning:", getattr(msg, "reasoning_content", None))
print("Answer:", msg.content)
只要服务端启用了 --tool-call-parser 与 --enable-auto-tool-choice,模型就会在需要时自动发起工具调用。
GGUF + llama.cpp 部署提示
本仓库是面向 llama.cpp 的 GGUF 版本,需注意两点:
- 架构支持:需要包含 K2 Horizon 架构支持的新版本
llama.cpp,才能正确加载该模型。 - 精度:张量保留原始 BF16 精度,文件内已打包 tokenizer 元数据与兼容的 chat template,开箱即用。
模型文件见 K2-Horizon-36B-BF16.gguf,完整说明见 README.md。
常见问题(FAQ)
Q:工具调用格式会影响准确率吗?
A:json、xml、xml_typed 都是模型原生支持的格式,效果相当;主要差别在于下游解析的便利性。保持默认 xml 即可。
Q:reasoning_content 一直为空?
A:检查服务端是否开启了 --reasoning-parser k2_horizon,以及请求里是否传了 reasoning_effort。
Q:为什么不直接裸跑 completion? A:裸补全模式下思考与工具调用不会被解析,Agent 能力无法发挥。建议按需开启对应 parser。
总结
把 K2-Horizon-MoVA-36B-A4B-GGUF 变成强力 Agent,只需三步:
- ✅ 开开关:
--reasoning-parser k2_horizon+--tool-call-parser k2_horizon+--enable-auto-tool-choice - ✅ 选格式:
json/xml/xml_typed,按需切换,默认xml - ✅ 调参数:
reasoning_effort=high、temperature=1.0、top_p=0.95
配置得当后,你就能拥有一个会思考、能调用工具、支持 512K 长上下文的本地强力 Agent。🚀

