如何开启Qwen3思考模式?Qwen3-8B_rai_1.8.0_hybrid的chat_template与enable_thinking实战指南

原创2026-10-16 16:14:472,146 阅读

如何开启Qwen3思考模式?Qwen3-8B_rai_1.8.0_hybrid的chat_template与enable_thinking实战指南

本文带你快速掌握 Qwen3 思考模式(Thinking Mode)的开启与关闭方法,基于 AMD 官方优化的本地部署模型 Qwen3-8B_rai_1.8.0_hybrid,深入讲解 chat_template 中 enable_thinking 参数的实战用法,帮助你在 Ryzen AI 设备上自由切换"先推理、再回答"与"直接回答"两种模式。

📦 先认识一下 Qwen3-8B_rai_1.8.0_hybrid

这是一个面向 AMD Ryzen AI(锐龙 AI 处理器) 优化的大语言模型:

  • 来源模型:Qwen3-8B(80 亿参数级通用大模型)
  • 量化方式:AWQ / Group 128 / UINT4 权重 + BFP16 激活,通过 AMD Quark 量化工具制备,适合在笔记本 NPU/CPU 混合推理(hybrid)场景下运行
  • 上下文长度:最高支持 40960 个 token
  • 推理格式:ONNX Runtime GenAI,可直接配合 Ryzen AI 1.8.0 运行时使用

相关配置可参考仓库中的 config.json、genai_config.json 和 README.md。

💡 什么是 Qwen3 思考模式?

Qwen3 支持两种回答方式:

模式 行为 适用场景
思考模式(默认) 先在 `
` 中输出推理过程,再给出最终答案 数学推理、逻辑分析、代码设计
非思考模式 跳过推理,直接输出答案 简单问答、快速对话、低延迟场景

开启思考模式后,模型的原始输出形如:

让我一步一步分析……(推理过程)
</think>
最终答案是:17。

关键就藏在一个变量里:enable_thinking。它是 chat_template(对话模板)暴露出来的开关,取值决定模型"要不要先思考"。

🔍 核心揭秘:chat_template.jinja 里的 enable_thinking

本模型的对话模板位于 chat_template.jinja,末尾的生成提示逻辑是思考模式的"总开关"(chat_template.jinja#L84-L89):

{%- if add_generation_prompt %}
    {{- '
</think>

' }}
{%- endif %}
{%- endif %}

它的含义非常直白:

  1. 不传 enable_thinking(默认):模板只追加 </think> 之后,模型自然续写,最终输出"答案"部分;
  2. 这个技巧本质上是一种 "提示前缀":模型看到推理块已经关闭,就会跳过推理直接作答。

另外,模板还内置了多轮对话的推理内容处理逻辑(chat_template.jinja#L34-L42):当历史 assistant 消息包含 </think> 时,会自动把思考内容与正式回答拆分,避免多轮对话时提示词膨胀。

相关的特殊 token 也已在词表中注册,例如 </think>(id 151667)、 </think>(id 151668),见 added_tokens.json 与 tokenizer_config.json。

🚀 实战:3 步开启或关闭思考模式

第 1 步:加载 tokenizer

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("./Qwen3-8B_rai_1.8.0_hybrid")

第 2 步:套用模板时传入 enable_thinking

messages = [{"role": "user", "content": "证明:根号2是无理数"}]

# ✅ 开启思考模式(默认行为,不传参数即可)
prompt_think = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

# ⏩ 关闭思考模式(显式传 enable_thinking=False)
prompt_fast = tokenizer.apply_chat_template(
    messages, tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False
)

第 3 步:送入模型生成

无论使用 Transformers 还是 ONNX Runtime GenAI(Ryzen AI 1.8.0 hybrid 运行时),核心都相同——让 tokenizer 在套用模板时拿到 enable_thinking 变量,再对得到的 prompt 做正常文本生成即可。Ryzen AI 场景下的运行时配置(序列长度、采样参数等)已写在 genai_config.json 中,提示词的最大长度限制可参考 rai_config.json。

💡 小提示:enable_thinking 是模板变量而不是模型参数,所以它必须在"构造 prompt"这一步传入,生成参数(temperature 等)里找不到它是正常的。

✂️ 如何解析输出:把"思考"和"答案"分开

拿到模型输出后,按 </think> 切分即可同时取出两部分:

if "
</think>" in output:
    reasoning = output.split("
</think>")[0].lstrip("
")   # 思考过程
    answer = output.split("
</think>")[-1].strip()      # 最终回答
else:
    reasoning, answer = "", output  # 非思考模式

展示时可以像"折叠面板"一样呈现:思考过程默认收起,用户想看推理细节再展开。

⚙️ 推荐生成参数速查

以下参数来自仓库自带的 generation_config.json,建议保持默认:

参数 推荐值 说明
temperature 0.6 温度适中,兼顾稳定性与多样性
top_k 20 每步只从概率最高的 20 个 token 中采样
top_p 0.95 核采样阈值
do_sample true 开启采样
最大上下文 40960 思考模式推理较长,注意为 `
` 部分预留长度

⚠️ 思考模式会消耗更多 token(推理过程也算输出长度),在低显存/低内存场景下建议适当调小 max_new_tokens,或直接在简单任务上关闭思考模式换取速度。

❓ 常见问题(FAQ)

Q1:为什么我的模型"不思考"了? 检查是否在调用模板时误传了 enable_thinking=False;只要不传该参数,模型默认就是思考模式。

Q2:为什么我看到的输出没有 </think> 标记? 说明处于非思考模式。也可以反过来用它判断当前模式:输出里出现 </think> 就代表模型完成了推理。

Q3:关闭思考模式会影响答案质量吗? 对简单问答几乎没有影响;对复杂推理题,建议保留思考模式,或用 system prompt 补充约束来弥补。

Q4:这个模型能在我的电脑上跑吗? 该模型(hybrid 变体)为 AMD Ryzen AI 硬件优化,具体支持的硬件与版本请对照 README.md 中的 Quick Start 说明。


小结:Qwen3 思考模式的开关就一个变量——enable_thinking。记住三件事:① 它是 chat_template 的模板变量,构造 prompt 时传入;② 不传即默认开启思考;③ 输出用 </think> 切分解析。掌握这套方法后,你就可以在 Qwen3-8B_rai_1.8.0_hybrid 上灵活切换"深度推理"与"快速直答"了。

登录后查看全文
Qwen3-8B_rai_1.8.0_hybrid