如何把K2-Horizon-MoVA-36B-A4B-GGUF变成强力Agent?工具调用json/xml格式与reasoning_parser完整指南

原创2026-10-20 09:16:141,436 阅读

如何把K2-Horizon-MoVA-36B-A4B-GGUF变成强力Agent?工具调用json/xml格式与reasoning_parser完整指南

想让本地大模型真正当"助手"干活,光会聊天可不够——关键要让它可靠地调用工具并先思考再回答。本文带你用 K2-Horizon-MoVA-36B-A4B-GGUF 这个开源 GGUF 模型,通过开启 reasoning_parser 与 tool-call-parser、切换工具调用的 json / xml 格式,一步步把它变成一个强力 Agent。即使是新手,照着配置也能轻松上手。

K2-Horizon-MoVA-36B-A4B 是一款采用 Mixture-of-Experts(MoE,混合专家)+ MoVA 注意力的模型,总参数 36B、每个 token 仅激活 4B,在 Agent 工具调用与推理基准上表现突出,同时原生支持 512K 上下文。本仓库提供的是 GGUF 格式(保留 BF16 精度,内含 tokenizer 元数据与 chat template),适合用 llama.cpp 等推理框架部署。

K2-Horizon-MoVA-36B-A4B 的 Agent 与推理基准对比图,展示其在工具调用、终端编程上的强劲表现

为什么它能成为强力 Agent?

在投入配置前,先看看它凭什么"强"。官方在 README.md 中列出的核心能力:

维度 代表基准 成绩
🤖 智能体工具调用 tau3-Banking 26.8(同档最高)
💻 Agent 终端编程 Terminal-Bench 2.1 58.6(同档最高)
🔬 专家级推理 GPQA Diamond 80.8
📚 长上下文推理 AA-LCR 66.3

亮点:在"Agent 工具调用"与"终端编程"这两项真正决定助手可用性的能力上,它以 4B 激活参数超过了体量数倍、甚至 15 倍的开源稠密模型。这正是我们把它当 Agent 用的底气。

第一步:开启 reasoning_parser 与 tool-call-parser

把一个普通模型变成 Agent,本质是打开两个"解析开关":

  • --reasoning-parser k2_horizon:让服务端识别模型的"思考过程",把推理内容从最终答案中分离出来。
  • --tool-call-parser k2_horizon:让服务端按模型约定的格式解析工具调用,实现自动工具选择(auto tool choice)。
  • --enable-auto-tool-choice:允许模型自主决定何时调用哪个工具。

在 vLLM 或 SGLang 中,只需在启动命令里带上这两个 parser 即可(官方已验证的配方见 README.md 的 Quickstart 部分):

# vLLM 关键参数
vllm serve IFM/K2-Horizon-MoVA-36B-A4B \
  --tensor-parallel-size 2 \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --reasoning-parser k2_horizon \
  --tool-call-parser k2_horizon \
  --enable-auto-tool-choice

SGLang 的用法一致,同样加上 --reasoning-parser k2_horizon 和 --tool-call-parser k2_horizon。

💡 记住一条黄金法则:聊天场景保留 reasoning parser,Agent 场景再加 tool-call parser;而纯补全式(completion)生成则把两者都关掉。

第二步:选择工具调用格式 json / xml / xml_typed

模型的 chat template 支持多种工具调用格式,可随请求切换,默认是 xml:

格式值 说明
json 以 JSON 结构化描述工具参数,最易被通用程序解析
xml 以 XML 标签包裹工具调用(默认,可读性好)
xml_typed 在 XML 基础上增加类型标注,参数结构更严格

切换方式:通过请求中的 chat_template_kwargs 传入 tool_call_format,例如:

extra_body={"chat_template_kwargs": {"reasoning_effort": "high", "tool_call_format": "xml"}}

⚠️ 无论选哪种格式,都要确保服务端 --tool-call-parser k2_horizon 保持开启,否则无法正确解析你选定的格式。

选型建议:对接严格的结构化后端选 json 或 xml_typed;追求可读性与稳定,直接用默认的 xml。

第三步:锁定最佳推理参数

官方推荐(也是取得基准成绩所用)的参数组合,强烈建议照搬:

  • reasoning_effort = "high":所有公开结果都用高推理档位,每次请求都应传入。
  • temperature = 1.0
  • top_p = 0.95
  • max_tokens = 32768:给足思考空间。

推理深度由 chat_template_kwargs 里的 reasoning_effort 按请求控制。响应中,思考过程放在 reasoning_content 字段,最终答案放在 content 字段——分离干净,方便前端展示"先思考后回答"的体验。

K2-Horizon-36B 训练 loss 随训练 token 数下降的曲线,体现训练充分、推理稳定

完整调用示例

下面是一个典型的 OpenAI 兼容接口调用,展示如何同时拿到"思考 + 答案",并指定工具调用格式:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="IFM/K2-Horizon-MoVA-36B-A4B",
    messages=[{"role": "user", "content": "帮我查询当前时间,并解释为什么。"}],
    temperature=1.0,
    top_p=0.95,
    max_tokens=32768,
    extra_body={"chat_template_kwargs": {"reasoning_effort": "high", "tool_call_format": "xml"}},
)
msg = response.choices[0].message
print("Reasoning:", getattr(msg, "reasoning_content", None))
print("Answer:", msg.content)

只要服务端启用了 --tool-call-parser 与 --enable-auto-tool-choice,模型就会在需要时自动发起工具调用。

GGUF + llama.cpp 部署提示

本仓库是面向 llama.cpp 的 GGUF 版本,需注意两点:

  1. 架构支持:需要包含 K2 Horizon 架构支持的新版本 llama.cpp,才能正确加载该模型。
  2. 精度:张量保留原始 BF16 精度,文件内已打包 tokenizer 元数据与兼容的 chat template,开箱即用。

模型文件见 K2-Horizon-36B-BF16.gguf,完整说明见 README.md。

常见问题(FAQ)

Q:工具调用格式会影响准确率吗? A:json、xml、xml_typed 都是模型原生支持的格式,效果相当;主要差别在于下游解析的便利性。保持默认 xml 即可。

Q:reasoning_content 一直为空? A:检查服务端是否开启了 --reasoning-parser k2_horizon,以及请求里是否传了 reasoning_effort。

Q:为什么不直接裸跑 completion? A:裸补全模式下思考与工具调用不会被解析,Agent 能力无法发挥。建议按需开启对应 parser。

总结

把 K2-Horizon-MoVA-36B-A4B-GGUF 变成强力 Agent,只需三步:

  1. ✅ 开开关:--reasoning-parser k2_horizon + --tool-call-parser k2_horizon + --enable-auto-tool-choice
  2. ✅ 选格式:json / xml / xml_typed,按需切换,默认 xml
  3. ✅ 调参数:reasoning_effort=high、temperature=1.0、top_p=0.95

配置得当后,你就能拥有一个会思考、能调用工具、支持 512K 长上下文的本地强力 Agent。🚀

登录后查看全文
K2-Horizon-MoVA-36B-A4B-GGUF