diffusiongemma-26B-A4B-it-NVFP4 聊天模板全解:enable_thinking 思考通道与工具调用原理

原创2026-11-10 12:49:291,952 阅读

diffusiongemma-26B-A4B-it-NVFP4 聊天模板全解:enable_thinking 思考通道与工具调用原理

diffusiongemma-26B-A4B-it-NVFP4 是 Google 开源多模态 MoE 大模型 DiffusionGemma 的 NVFP4 4-bit 量化版本,支持 26 万 token 上下文、视觉/音频/视频输入,并内置"思考模式"与工具调用能力。本文带你快速读懂它的聊天模板(chat template):enable_thinking 思考通道如何工作、工具调用(tool call)如何被编码成特殊 token,以及如何在 vLLM 中一键开启。🚀

聊天模板是什么?为什么要关注它

聊天模板是大模型与用户对话之间的"翻译协议"——它把结构化的对话消息(system、user、assistant、工具定义、工具结果)渲染成模型真正理解的 token 序列。

本项目的聊天模板定义在 chat_template.jinja 中,采用 Jinja2 语法编写;配套的特殊 token 表在 tokenizer_config.json 里。理解了这两份文件,你就理解了模型"说话"的全部语法。

💡 一句话概括:模板负责"写",特殊 token 负责"读"——模型生成的每个段落都被 <|...> 和 <...|> 这类成对标记包裹,框架据此精确切分思考、正文与工具调用。

特殊 token 速查表:模板的"积木块"

从 tokenizer_config.json#L24-L43 可以看到,模板由 7 组成对特殊 token 构成:

标记对 作用 类比
<|turn> / <turn|> 标记一轮对话的开头(角色)与结尾 章节起止
<|channel> / <channel|> 标记"思考通道"段落 草稿纸
<|tool> / <tool|> 包裹工具(函数)声明 说明书
<|tool_call> / <tool_call|> 包裹模型发起的一次工具调用 指令单
<|tool_response> / <tool_response|> 包裹工具执行后的返回结果 回执单
<|think|> 全局思考开关 token 总开关
<|" |> 字符串转义 token 引号

这些标记在模板中被大量使用,例如工具调用统一渲染为 <|tool_call>call:函数名{参数}<tool_call|> 的形式(见 chat_template.jinja#L243-L258)。

enable_thinking 思考通道:如何开启模型"深度思考"

enable_thinking 是一个布尔开关,通过聊天模板参数传入。模板中只有两处用到它:

  1. 打开总开关。当 enable_thinking 为真时,模板会在第一个 system 轮次的最顶部注入 <|think|> token(见 chat_template.jinja#L179-L185):
<bos><|turn>system
<|think|>
你是一个乐于助人的助手...
<turn|>

这行 <|think|> 相当于告诉模型:"本次对话请启用推理模式,先思考再回答"。

  1. 渲染思考通道。历史消息中携带 reasoning / reasoning_content 字段的助手消息(且位于最后一条用户消息之后、且伴随 tool_calls),会被渲染进专门的思考通道(见 chat_template.jinja#L237-L241):
<|channel>thought
我需要先查询天气,再规划行程...
<channel|>

为什么要隔离思考内容? 模板内置了一个 strip_thinking 宏(chat_template.jinja#L148-L158):回喂历史时,会自动剥掉 assistant 消息正文里混入的 <|channel>...<channel|> 段落。这样"思考草稿"和"正式回答"严格分层,既不会污染上下文,也让下游解析无歧义。

模型输出侧则由 tokenizer_config.json#L47-L86 中的 response_schema 负责解析——一段正则把生成结果精确切分为 thinking(思考)、tool_calls(工具调用)、content(正文)三个字段,这就是"思考通道"能稳定提取的底层保障。

📊 思考模式的效果在 README.md 的 Accuracy 一栏有实测:开启 thinking 后,AIME 2025 数学基准从 0.437 提升到 0.637,GPQA Diamond 从 0.641 提升到 0.677,量化后仍保持 97% 以上的得分回收率——推理类任务值得默认打开。

工具调用原理:从声明到回执的三步闭环

模板同时兼容 Google 原生格式(tool_responses 挂在助手消息上)与 OpenAI Chat Completions 格式(独立的 role: "tool" 消息),整个流程分三步:

第一步:声明工具。system 轮次内,每个工具被渲染为 <|tool>...<tool|> 块(见 chat_template.jinja#L196-L203),内部是一个紧凑的"声明体",由 format_function_declaration 宏生成:

<|tool>declaration:get_weather{description:<|"|>查询指定城市天气<|"|>
,parameters:{properties:{city:{description:<|"|>城市名<|"|> type:<|"|>STRING<|"|>}},required:[<|"|>city<|"|>] type:<|"|>OBJECT<|"|>}}<tool|>

注意所有字符串值都被 <|"|> 转义包裹——这是防止工具描述中的特殊字符破坏结构的"防注入"设计,参数还支持 enum、ARRAY、嵌套 OBJECT 等完整 JSON Schema 类型(chat_template.jinja#L1-L85)。

第二步:模型发起调用。assistant 消息中的 tool_calls 被渲染为:

<|tool_call>call:get_weather{city:"北京"}<tool_call|>

其中 call:函数名{键:值,...} 与 response_schema 中的 x-regex 解析规则一一对应,参数按字母序排列、字符串自动加引号。

第三步:回填工具结果。模板会把紧随其后的 role: "tool" 消息通过 tool_call_id 匹配回对应的函数名,渲染为:

<|tool_response>response:get_weather{city:"北京",temp:26}<tool_response|>

如果工具返回的是多模态内容(图片、音频、视频),模板还会在文本旁插入 <|image|>、<|audio|>、<|video|> 占位 token(chat_template.jinja#L298-L306)——毕竟这是一个原生的图文音视频多模态模型。

此外还有几个精巧的细节:连续两条 assistant 消息会合并为同一个 model 轮次避免重复的 <|turn>model(chat_template.jinja#L219-L235);若上一轮以 tool_call 结尾而尚无回执,模板会主动补开 <|tool_response>,保证对话永远停在"等工具结果"的合法位置。

部署实战:一条命令开启思考模式 + 工具支持

生产部署推荐使用 vLLM,README.md#L29-L37 给出的官方命令只需加一个参数即可全局打开思考开关:

vllm serve RedHatAI/diffusiongemma-26B-A4B-it-NVFP4 \
    --trust-remote-code \
    --max-num-seqs 4 \
    --hf-overrides '{"diffusion_sampler": "entropy_bound", "diffusion_entropy_bound": 0.1}' \
    --default-chat-template-kwargs '{"enable_thinking": true}'

关键点:--default-chat-template-kwargs 会把 enable_thinking: true 注入每一次模板渲染。生成参数(如扩散采样的 max_denoising_steps、熵约束采样器等)则由 generation_config.json 统一提供,无需手动调参。

常见疑问

  • 不开 enable_thinking 模板会怎样? 不会注入 <|think|>,模型直接进入"快答"模式,速度更快,适合简单问答;数学、科学推理建议开启。
  • 模板和量化有关系吗? 没有。NVFP4 量化(权重与激活均为 4-bit,见 config.json 中的 quantization_config 与 recipe.yaml)只改变数值精度,对话协议完全继承自基座 google/diffusiongemma-26B-A4B-it。
  • 能改模板吗? 模板随 tokenizer 分发,改模板前建议先对照 response_schema 的解析正则,否则思考与工具调用字段可能解析失败。

小结

diffusiongemma-26B-A4B-it-NVFP4 的聊天模板用 7 组成对特殊 token 搭起了一套结构清晰、自带转义防注入的对话协议:<|think|> 一个 token 即可切换深度思考,<|channel>thought 通道让思考与回答严格分层,工具调用则通过"声明 → 调用 → 回执"三步闭环完成,并原生兼容 Google 与 OpenAI 两种工具消息格式。读懂 chat_template.jinja,你也就掌握了这个多模态 MoE 模型的完整"语法书"。📖

登录后查看全文
diffusiongemma-26B-A4B-it-NVFP4