如何开启Qwen3思考模式?Qwen3-8B_rai_1.8.0_hybrid的chat_template与enable_thinking实战指南
如何开启Qwen3思考模式?Qwen3-8B_rai_1.8.0_hybrid的chat_template与enable_thinking实战指南
本文带你快速掌握 Qwen3 思考模式(Thinking Mode)的开启与关闭方法,基于 AMD 官方优化的本地部署模型 Qwen3-8B_rai_1.8.0_hybrid,深入讲解 chat_template 中 enable_thinking 参数的实战用法,帮助你在 Ryzen AI 设备上自由切换"先推理、再回答"与"直接回答"两种模式。
📦 先认识一下 Qwen3-8B_rai_1.8.0_hybrid
这是一个面向 AMD Ryzen AI(锐龙 AI 处理器) 优化的大语言模型:
- 来源模型:Qwen3-8B(80 亿参数级通用大模型)
- 量化方式:AWQ / Group 128 / UINT4 权重 + BFP16 激活,通过 AMD Quark 量化工具制备,适合在笔记本 NPU/CPU 混合推理(hybrid)场景下运行
- 上下文长度:最高支持 40960 个 token
- 推理格式:ONNX Runtime GenAI,可直接配合 Ryzen AI 1.8.0 运行时使用
相关配置可参考仓库中的 config.json、genai_config.json 和 README.md。
💡 什么是 Qwen3 思考模式?
Qwen3 支持两种回答方式:
| 模式 | 行为 | 适用场景 |
|---|---|---|
| 思考模式(默认) | 先在 ` | |
| ` 中输出推理过程,再给出最终答案 | 数学推理、逻辑分析、代码设计 | |
| 非思考模式 | 跳过推理,直接输出答案 | 简单问答、快速对话、低延迟场景 |
开启思考模式后,模型的原始输出形如:
让我一步一步分析……(推理过程)
</think>
最终答案是:17。
关键就藏在一个变量里:enable_thinking。它是 chat_template(对话模板)暴露出来的开关,取值决定模型"要不要先思考"。
🔍 核心揭秘:chat_template.jinja 里的 enable_thinking
本模型的对话模板位于 chat_template.jinja,末尾的生成提示逻辑是思考模式的"总开关"(chat_template.jinja#L84-L89):
{%- if add_generation_prompt %}
{{- '
</think>
' }}
{%- endif %}
{%- endif %}
它的含义非常直白:
- 不传
enable_thinking(默认):模板只追加</think>之后,模型自然续写,最终输出"答案"部分; - 这个技巧本质上是一种 "提示前缀":模型看到推理块已经关闭,就会跳过推理直接作答。
另外,模板还内置了多轮对话的推理内容处理逻辑(chat_template.jinja#L34-L42):当历史 assistant 消息包含 </think> 时,会自动把思考内容与正式回答拆分,避免多轮对话时提示词膨胀。
相关的特殊 token 也已在词表中注册,例如 </think>(id 151667)、 </think>(id 151668),见 added_tokens.json 与 tokenizer_config.json。
🚀 实战:3 步开启或关闭思考模式
第 1 步:加载 tokenizer
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("./Qwen3-8B_rai_1.8.0_hybrid")
第 2 步:套用模板时传入 enable_thinking
messages = [{"role": "user", "content": "证明:根号2是无理数"}]
# ✅ 开启思考模式(默认行为,不传参数即可)
prompt_think = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
# ⏩ 关闭思考模式(显式传 enable_thinking=False)
prompt_fast = tokenizer.apply_chat_template(
messages, tokenize=False,
add_generation_prompt=True,
enable_thinking=False
)
第 3 步:送入模型生成
无论使用 Transformers 还是 ONNX Runtime GenAI(Ryzen AI 1.8.0 hybrid 运行时),核心都相同——让 tokenizer 在套用模板时拿到 enable_thinking 变量,再对得到的 prompt 做正常文本生成即可。Ryzen AI 场景下的运行时配置(序列长度、采样参数等)已写在 genai_config.json 中,提示词的最大长度限制可参考 rai_config.json。
💡 小提示:
enable_thinking是模板变量而不是模型参数,所以它必须在"构造 prompt"这一步传入,生成参数(temperature 等)里找不到它是正常的。
✂️ 如何解析输出:把"思考"和"答案"分开
拿到模型输出后,按 </think> 切分即可同时取出两部分:
if "
</think>" in output:
reasoning = output.split("
</think>")[0].lstrip("
") # 思考过程
answer = output.split("
</think>")[-1].strip() # 最终回答
else:
reasoning, answer = "", output # 非思考模式
展示时可以像"折叠面板"一样呈现:思考过程默认收起,用户想看推理细节再展开。
⚙️ 推荐生成参数速查
以下参数来自仓库自带的 generation_config.json,建议保持默认:
| 参数 | 推荐值 | 说明 |
|---|---|---|
temperature |
0.6 | 温度适中,兼顾稳定性与多样性 |
top_k |
20 | 每步只从概率最高的 20 个 token 中采样 |
top_p |
0.95 | 核采样阈值 |
do_sample |
true | 开启采样 |
| 最大上下文 | 40960 | 思考模式推理较长,注意为 ` |
| ` 部分预留长度 |
⚠️ 思考模式会消耗更多 token(推理过程也算输出长度),在低显存/低内存场景下建议适当调小 max_new_tokens,或直接在简单任务上关闭思考模式换取速度。
❓ 常见问题(FAQ)
Q1:为什么我的模型"不思考"了?
检查是否在调用模板时误传了 enable_thinking=False;只要不传该参数,模型默认就是思考模式。
Q2:为什么我看到的输出没有 </think> 标记?
说明处于非思考模式。也可以反过来用它判断当前模式:输出里出现 </think> 就代表模型完成了推理。
Q3:关闭思考模式会影响答案质量吗? 对简单问答几乎没有影响;对复杂推理题,建议保留思考模式,或用 system prompt 补充约束来弥补。
Q4:这个模型能在我的电脑上跑吗? 该模型(hybrid 变体)为 AMD Ryzen AI 硬件优化,具体支持的硬件与版本请对照 README.md 中的 Quick Start 说明。
小结:Qwen3 思考模式的开关就一个变量——enable_thinking。记住三件事:① 它是 chat_template 的模板变量,构造 prompt 时传入;② 不传即默认开启思考;③ 输出用 </think> 切分解析。掌握这套方法后,你就可以在 Qwen3-8B_rai_1.8.0_hybrid 上灵活切换"深度推理"与"快速直答"了。