Qwen3.6-27B-w8a8c8-mxfp8对话模板详解:如何开启思考模式与多步工具调用
Qwen3.6-27B-w8a8c8-mxfp8对话模板详解:如何开启思考模式与多步工具调用
Qwen3.6-27B-w8a8c8-mxfp8 是 Qwen3.6-27B 多模态大模型的 W8A8C8 MXFP8 量化版本。本文将逐行拆解它的对话模板 chat_template.jinja,手把手教你如何开启思考模式、如何配置工具调用,以及怎样顺利完成多步工具调用对话,新手也能快速上手。
1️⃣ 模型速览:这个量化模型能做什么
| 项目 | 说明 |
|---|---|
| 基础模型 | Qwen3.6-27B(多模态:文本 + 图片 + 视频) |
| 量化方案 | W8A8C8 MXFP8,权重 / 激活按块 8-bit、计算 8-bit |
| 目标硬件 | 昇腾 NPU(vLLM_Ascend 已验证) |
| 上下文长度 | 262,144 tokens |
| 权重文件 | 10 个 safetensors 分片 + 索引 |
- 权重分片:quant_model_weights-00001-of-00010.safetensors(共 10 个),索引见 quant_model_weights.safetensors.index.json
- 量化配置:Qwen3.6-27B_best_practice.yaml;量化描述:quant_model_description.json
- 项目说明:README.md
W8A8C8 即权重 8-bit(W8)、激活 8-bit(A8)、计算 8-bit(C8),在保持精度接近全精度的同时显著降低显存 / 片上内存占用。
2️⃣ 对话模板在哪里:定位核心文件
对话模板同时存放在两处,内容完全一致:
- 独立模板文件:chat_template.jinja(Jinja2 语法)
- 分词器配置:tokenizer_config.json 中的
chat_template字段
推理框架(vLLM、transformers 等)会自动读取模板,把你传入的 messages 列表渲染成模型能理解的文本序列。
关键特殊 token 速查表(完整定义见 tokenizer_config.json):
| Token | 作用 |
|---|---|
| ` | |
| ... | |
| ` | 消息边界:包裹 system / user / assistant |
| ` | |
| ... | |
| ` | 思考过程(思考模式) |
| ` | |
| ... | |
| ` | 工具调用指令 |
| ` | |
| ... | |
| ` | 工具执行结果 |
image / video |
图片 / 视频占位符 |
3️⃣ 如何开启思考模式:enable_thinking 参数详解
模板末尾的"生成提示"逻辑(chat_template.jinja)决定了思考模式的开关:
- 默认开启:不传参数或传
true时,输入末尾自动追加,模型先输出思考过程、再给出答案 - 显式关闭:传
enable_thinking=false,模板改为追加空思考块...,模型跳过思考直接作答
最小示例(框架自动渲染,你只需组织 messages):
{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "请简述量化与剪枝的区别。"}
],
"enable_thinking": true
}
💡 两个典型场景:
- 复杂推理任务 → 保持思考开启(默认),答案更可靠
- 高并发在线问答 →
enable_thinking=false,响应更快、更省 token
另一个参数 preserve_thinking 控制多轮历史中的思考过程是否保留(chat_template.jinja):
- 默认情况下,上一轮及更早的 assistant 消息会丢弃思考过程,仅保留当前轮 → 节省上下文长度
- 设为
preserve_thinking=true则全程保留,适合需要跨轮引用推理细节的深度多轮任务
4️⃣ 工具调用格式:tool_call 与 tool_response 的渲染规则
传入 tools 列表后,模板会自动把工具定义注入 system 消息开头(chat_template.jinja):先输出 # Tools 与 <tools> JSON,再拼接你自定义的 system prompt,无需手写工具说明。
三种角色的渲染规则:
| 角色 | 模板渲染方式 |
|---|---|
assistant 带 tool_calls |
正文后追加 ` |
块,内含<function=函数名>与<parameter=参数名>` |
|
tool(工具结果) |
包裹为 ` |
| `;连续多条工具结果会自动合并进同一个 user 块(chat_template.jinja) | |
system / user |
标准 ` |
| ... | |
| ` 包裹 |
单轮工具调用示例:
[
{"role": "user", "content": "北京今天天气如何?"},
{"role": "assistant", "content": "",
"tool_calls": [{"function": {"name": "get_weather", "arguments": {"city": "Beijing"}}}]},
{"role": "tool", "content": "晴,25°C"}
]
⚠️ 两个注意点:
- 工具定义只挂在首条
system消息上,且 system 消息不能包含图片 / 视频 - 没有可用工具时,模型会直接回答,不会输出
5️⃣ 多步工具调用:模板如何自动保留思考过程
一次提问常需要多轮工具调用:搜索 → 查看详情 → 汇总回答。模板对此做了自动化处理:
- 定位"最后一次真实用户提问":从消息尾部倒序扫描,内容是
...的 user 消息视为工具结果,第一条不匹配的就是最后一次真实提问(chat_template.jinja) - 仅当前轮保留思考:最后一次真实提问之后的 assistant 消息保留
...,更早轮次默认丢弃 → 长多步调用链中上下文不会因历史思考膨胀 - 保护性校验:若所有 user 消息都是工具结果(找不到真实提问),模板会抛出
No user query found in messages.错误
💡 因此组装多步调用对话时,只需保留原始用户提问,之后依次追加 assistant(tool_calls) → tool 即可,无需任何特殊参数。
6️⃣ 生成参数与多模态配置要点
采样默认值(见 generation_config.json):
| 参数 | 默认值 | 使用建议 |
|---|---|---|
temperature |
1.0 | 希望输出更稳定可适当调低(如 0.7) |
top_k |
20 | 保持默认 |
top_p |
0.95 | 保持默认 |
多模态相关:
- 架构参数:config.json(视觉编码器 + 64 层文本模型,线性 / 全注意力混合,262K 上下文)
- 图片预处理:preprocessor_config.json;视频预处理:video_preprocessor_config.json
- 消息中的图片 / 视频内容会被模板自动转换为
image/video占位符
7️⃣ 仓库文件速查表与获取方式
想本地体验?克隆仓库即可获得完整权重与配置:
git clone https://gitcode.com/Eco-Tech/Qwen3.6-27B-w8a8c8-mxfp8
| 文件 | 作用 |
|---|---|
| chat_template.jinja | 对话模板(本文核心) |
| tokenizer_config.json | 分词配置 + chat_template + 特殊 token |
| config.json | 模型架构参数 |
| generation_config.json | 生成默认参数 |
| vocab.json / merges.txt | 词表与合并规则 |
| quant_model_description.json | 量化模型描述 |
| Qwen3.6-27B_best_practice.yaml | 量化实践配置 |
小结:开启思考模式靠的是模板末尾自动追加的 生成提示,用 enable_thinking 一键开关;使用工具调用只需传入 tools 并按上述格式组装 tool_calls / tool 消息,system 提示注入、思考保留与多步归组都会由模板自动完成。