Ling-3.0-flash-VL 智能体能力指南:工具调用与Thinking模式的正确打开方式
Ling-3.0-flash-VL 智能体能力指南:工具调用与Thinking模式的正确打开方式
Ling-3.0-flash-VL 是 inclusionAI 推出的新一代原生多模态大模型,支持图像/视频理解、256K 超长上下文,总参数 124B 而每 token 仅激活 5.5B 参数。本文面向新手,带你用最少弯路掌握它的两大智能体核心能力——工具调用(Tool Calling) 与 Thinking 模式,并给出部署与调用的完整建议。
一、模型速览:为什么它适合做智能体
在深入两个核心能力之前,先花 30 秒了解一下这个"能看、能想、会动手"的模型:
| 关键指标 | 数值 | 说明 |
|---|---|---|
| 总参数 / 激活参数 | 124B / 5.5B | 稀疏 MoE 架构(512 个专家,每 token 只激活 8 个),推理又快又省 |
| 上下文窗口 | 256K | 通过 YaRN 扩展,适合长视频问答与多步智能体任务 |
| 输入模态 | 图像 + 视频 + 文本 | ViT 视觉编码器 + 双层 MLP 投影器对齐视觉与文本特征 |
| 智能体评分 | AA 指数 v4.1.1 得分 42 | 比纯文本版 Ling-3.0-flash(38 分)提升 4 分 |
它的能力可以概括为三个维度 🎯:
- 理解(Understand):数清复杂图表里的对象、读懂文档与界面布局;
- 推理(Reason):结合视觉证据做多步计算与事实核验;
- 行动(Act):看懂网页与软件界面,把"看到的内容"转化为一连串可执行的操作指令——这正是智能体工作流的地基。
想看完整的架构与评测细节,直接查阅仓库中的 README.md,模型结构定义见 config.json。
二、Thinking 模式:默认开启,但要知道怎么"关"
1. 默认就是"深度思考"状态
Ling-3.0-flash-VL 的聊天模板把 enable_thinking 默认设为 true(见 chat_template.jinja)。也就是说,你不做任何配置,模型也会先输出一段推理过程,再给出最终答案:
think
(模型的分析、拆解与验证过程……)
end of think
(正式回复内容)
2. 按请求关闭 Thinking,一个参数搞定
对于简单问答、批量高并发这类"不值得深度思考"的场景,可以在每个请求中单独关闭,无需重启服务:
"chat_template_kwargs": { "enable_thinking": false }
3. 服务端要接好"解析器"
为了让推理内容和正式答案在 API 响应中正确分离(分别进入 reasoning_content 和 content 字段),服务端需要启用推理解析器:
- SGLang:
--reasoning-parser auto(会自动从 chat template 解析出ling3) - vLLM:
--reasoning-parser ling3
4. 进阶:思考内容在对话中会被"保留"
一个容易忽略的细节是 preserve_thinking(默认为 true):多轮对话中,历史轮次里模型已产生的思考内容会被保留在上下文里,让后续回答能"接着想";而在工具调用的多步循环中,模板还会自动识别最近一次真实用户提问,只保留与该问题相关的推理,避免上下文被冗长的历史思考撑爆(逻辑见 chat_template.jinja 与 chat_template.jinja)。
什么时候开、什么时候关? 复杂推理、数学题、多步任务 → 保持开启;寒暄、简单查数、高并发批量任务 → 关闭,能明显省 token、降延迟。
三、工具调用:三步让模型真正"动手"
Ling-3.0-flash-VL 使用 XML 风格的工具协议(ling3 解析器),整个流程分三步。
第 1 步:传入标准 tools 列表
请求中按 OpenAI 兼容格式传入 tools 参数即可。聊天模板会自动把它渲染成 tools XML 指令块,并告诉模型:"如果所有函数都不适用,或参数缺失,要直接指出来"(模板逻辑见 chat_template.jinja)——这条内置规则能显著减少无效调用。
第 2 步:模型输出结构化工具调用
模型会输出如下形式的调用(参数逐个以键值对展开):
tool_call
function_name
arg_key
参数名1
arg_value
参数值1
arg_key
参数名2
arg_value
参数值2
end of tool call
服务端解析器(SGLang 的 --tool-call-parser auto 或 vLLM 的 --enable-auto-tool-choice --tool-call-parser ling3)会把它还原成标准的 tool_calls 结构,方便你的代码直接取出函数名和参数。
第 3 步:把执行结果回传,形成多步循环
工具执行完成后,把结果作为 role: "tool" 的消息回传(模板会将其渲染为 observation 观察块,见 chat_template.jinja)。模型据此继续推理,可能发起下一次调用,直到给出最终答案——这就是完整的"多步工具循环":
用户提问 → 模型调用工具 → 你执行工具并回传结果 → 模型再推理 → 最终回答
💡 小贴士:图像/视频与工具调用可以组合使用,比如"看一眼截图,判断界面上的按钮,再调用点击工具",这正是它"视觉 + 智能体"路线的杀手级玩法。
四、部署与调用速查
SGLang 一键启动(推荐)
2×141GB 级显卡(H20-3e / H200 或 B300 / GB300)上,核心参数如下(完整命令见 README.md):
python3 -m sglang.launch_server \
--model-path inclusionAI/Ling-3.0-flash-VL-fp8 \
--tp 2 \
--context-length 262144 \
--json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":2.0,"rope_theta":6000000,"partial_rotary_factor":0.5,"original_max_position_embeddings":131072}}' \
--trust-remote-code \
--reasoning-parser auto \
--tool-call-parser auto \
--host 0.0.0.0 --port 30000
⚠️ 如果是 80GB 显卡(H100 / H800),请改用 --tp 8 --ep 8:单用 --tp 8 会过不了 FP8 128×128 分块量化的整除检查,加 --ep 8 让每个 rank 持有完整的专家即可。
vLLM 启动
Ling 团队提供了专门适配的 vLLM 版本(安装步骤见 README.md 的 vLLM 一节),启动命令的要点:
vllm serve "$MODEL_PATH" \
--trust-remote-code \
--tensor-parallel-size 2 \
--enable-auto-tool-choice \
--tool-call-parser ling3 \
--reasoning-parser ling3
客户端调用示例
服务启动后,通过 OpenAI 兼容接口调用,图像/视频与文本可以混在同一条消息里:
curl -s http://localhost:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "inclusionAI/Ling-3.0-flash-VL",
"messages": [{"role": "user", "content": [
{"type": "image_url", "image_url": {"url": "https://example.com/image.png"}},
{"type": "text", "text": "用一句话描述这张图"}
]}],
"stream": true,
"temperature": 1.0, "top_k": 20, "top_p": 0.95}'
视频输入同理,把 image_url 换成 video_url 即可。
五、推荐参数速查表
| 参数 | 建议值 | 说明 |
|---|---|---|
| temperature | 1.0(服务部署)/ 0.6(评测默认) | 以 generation_config.json 为准 |
| top_p / top_k | 0.95 / 20 | 官方推荐采样组合 |
| context-length | 262144 | 256K,需配合 YaRN rope_scaling |
| enable_thinking | true / false | 通过 chat_template_kwargs 按请求切换 |
| 并行策略 | 141GB×2 用 tp2;80GB 卡用 tp8+ep8 | 见上文部署说明 |
| 图像分辨率 | 4096 ~ 4194304 像素 | min_pixels/max_pixels,见 preprocessor_config.json |
六、新手最容易踩的 3 个坑
- 关了 Thinking 却还有思考输出? 确认你是在请求级传了
chat_template_kwargs,并且服务端加载了本仓库的远程代码(--trust-remote-code),否则模板默认值仍是开启。 - 80GB 显卡
--tp 8直接报错? 这是 FP8 分块量化(128×128,见 config.json 中的quantization_config)的整除检查所致,补上--ep 8即可。 - 多步工具循环"越聊越乱"? 务必把工具结果以
role: "tool"回传(而不是拼进 user 消息),并保留preserve_thinking默认值,模板会自动做思考内容的上下文管理。
七、关键文件索引
想深入原理,仓库里这几个文件值得收藏 📂:
- 官方说明与部署指南:README.md
- 模型结构与 FP8 量化配置:config.json
- 工具调用与 Thinking 的核心模板:chat_template.jinja
- 推荐采样参数:generation_config.json
- 视觉输入处理配置:preprocessor_config.json、image_processing_bailingmm2.py
- 视觉/音频特殊 token 定义:tokenizer_config.json
总结:Ling-3.0-flash-VL 把"会想"(Thinking 默认开启、可按请求关闭)和"会动手"(ling3 协议的工具调用、多步循环、视觉驱动操作)做成了开箱即用的能力。记住这条主线——服务端接好 ling3 解析器,客户端用 chat_template_kwargs 控思考,工具结果用 tool 角色回传——你就能把它变成一个真正能干活的视觉智能体。