Qwen3.6-27B-w8a8c8-mxfp8对话模板详解:如何开启思考模式与多步工具调用

原创2026-10-27 15:06:161,837 阅读
文章标签:大模型模型量化多模态QwenAscend本地部署

Qwen3.6-27B-w8a8c8-mxfp8对话模板详解:如何开启思考模式与多步工具调用

Qwen3.6-27B-w8a8c8-mxfp8 是 Qwen3.6-27B 多模态大模型的 W8A8C8 MXFP8 量化版本。本文将逐行拆解它的对话模板 chat_template.jinja,手把手教你如何开启思考模式、如何配置工具调用,以及怎样顺利完成多步工具调用对话,新手也能快速上手。

1️⃣ 模型速览:这个量化模型能做什么

项目 说明
基础模型 Qwen3.6-27B(多模态:文本 + 图片 + 视频)
量化方案 W8A8C8 MXFP8,权重 / 激活按块 8-bit、计算 8-bit
目标硬件 昇腾 NPU(vLLM_Ascend 已验证)
上下文长度 262,144 tokens
权重文件 10 个 safetensors 分片 + 索引

W8A8C8 即权重 8-bit(W8)、激活 8-bit(A8)、计算 8-bit(C8),在保持精度接近全精度的同时显著降低显存 / 片上内存占用。

2️⃣ 对话模板在哪里:定位核心文件

对话模板同时存放在两处,内容完全一致:

推理框架(vLLM、transformers 等)会自动读取模板,把你传入的 messages 列表渲染成模型能理解的文本序列。

关键特殊 token 速查表(完整定义见 tokenizer_config.json):

Token 作用
`
...
` 消息边界:包裹 system / user / assistant
`
...
` 思考过程(思考模式)
`
...
` 工具调用指令
`
...
` 工具执行结果
image / video 图片 / 视频占位符

3️⃣ 如何开启思考模式:enable_thinking 参数详解

模板末尾的"生成提示"逻辑(chat_template.jinja)决定了思考模式的开关:

  • 默认开启:不传参数或传 true 时,输入末尾自动追加 ,模型先输出思考过程、再给出答案
  • 显式关闭:传 enable_thinking=false,模板改为追加空思考块 ...,模型跳过思考直接作答

最小示例(框架自动渲染,你只需组织 messages):

{
  "messages": [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "请简述量化与剪枝的区别。"}
  ],
  "enable_thinking": true
}

💡 两个典型场景:

  • 复杂推理任务 → 保持思考开启(默认),答案更可靠
  • 高并发在线问答 → enable_thinking=false,响应更快、更省 token

另一个参数 preserve_thinking 控制多轮历史中的思考过程是否保留(chat_template.jinja):

  • 默认情况下,上一轮及更早的 assistant 消息会丢弃思考过程,仅保留当前轮 → 节省上下文长度
  • 设为 preserve_thinking=true 则全程保留,适合需要跨轮引用推理细节的深度多轮任务

4️⃣ 工具调用格式:tool_call 与 tool_response 的渲染规则

传入 tools 列表后,模板会自动把工具定义注入 system 消息开头(chat_template.jinja):先输出 # Tools 与 <tools> JSON,再拼接你自定义的 system prompt,无需手写工具说明。

三种角色的渲染规则:

角色 模板渲染方式
assistant 带 tool_calls 正文后追加 `
块,内含<function=函数名>与<parameter=参数名>`
tool(工具结果) 包裹为 `
`;连续多条工具结果会自动合并进同一个 user 块(chat_template.jinja)
system / user 标准 `
...
` 包裹

单轮工具调用示例:

[
  {"role": "user", "content": "北京今天天气如何?"},
  {"role": "assistant", "content": "",
   "tool_calls": [{"function": {"name": "get_weather", "arguments": {"city": "Beijing"}}}]},
  {"role": "tool", "content": "晴,25°C"}
]

⚠️ 两个注意点:

  • 工具定义只挂在首条 system 消息上,且 system 消息不能包含图片 / 视频
  • 没有可用工具时,模型会直接回答,不会输出

5️⃣ 多步工具调用:模板如何自动保留思考过程

一次提问常需要多轮工具调用:搜索 → 查看详情 → 汇总回答。模板对此做了自动化处理:

  1. 定位"最后一次真实用户提问":从消息尾部倒序扫描,内容是 ... 的 user 消息视为工具结果,第一条不匹配的就是最后一次真实提问(chat_template.jinja)
  2. 仅当前轮保留思考:最后一次真实提问之后的 assistant 消息保留 ...,更早轮次默认丢弃 → 长多步调用链中上下文不会因历史思考膨胀
  3. 保护性校验:若所有 user 消息都是工具结果(找不到真实提问),模板会抛出 No user query found in messages. 错误

💡 因此组装多步调用对话时,只需保留原始用户提问,之后依次追加 assistant(tool_calls) → tool 即可,无需任何特殊参数。

6️⃣ 生成参数与多模态配置要点

采样默认值(见 generation_config.json):

参数 默认值 使用建议
temperature 1.0 希望输出更稳定可适当调低(如 0.7)
top_k 20 保持默认
top_p 0.95 保持默认

多模态相关:

7️⃣ 仓库文件速查表与获取方式

想本地体验?克隆仓库即可获得完整权重与配置:

git clone https://gitcode.com/Eco-Tech/Qwen3.6-27B-w8a8c8-mxfp8
文件 作用
chat_template.jinja 对话模板(本文核心)
tokenizer_config.json 分词配置 + chat_template + 特殊 token
config.json 模型架构参数
generation_config.json 生成默认参数
vocab.json / merges.txt 词表与合并规则
quant_model_description.json 量化模型描述
Qwen3.6-27B_best_practice.yaml 量化实践配置

小结:开启思考模式靠的是模板末尾自动追加的 生成提示,用 enable_thinking 一键开关;使用工具调用只需传入 tools 并按上述格式组装 tool_calls / tool 消息,system 提示注入、思考保留与多步归组都会由模板自动完成。

登录后查看全文
Qwen3.6-27B-w8a8c8-mxfp8