Molt多轮Agent教程:geo3k VLM图像推理与Python工具调用强化学习
Molt多轮Agent教程:geo3k VLM图像推理与Python工具调用强化学习
Molt 是一个 agentic-first(Agent 优先)的 PyTorch 原生强化学习框架,仅约 9.2K 行 RL 代码,支持 1T 级 MoE 模型的全异步多轮 Agent 训练。本教程以官方 geo3k 多轮 VLM 示例为主线,带你完整理解:如何给视觉语言模型(VLM)挂载 Python 沙盒工具,让模型"看图推理 → 调用工具验算 → 给出最终答案",并把这个多轮轨迹直接作为强化学习的训练样本。
一、为什么选 geo3k 作为多轮 Agent 入门案例
geo3k 是一个几何推理数据集:每条样本包含一张几何图形图片、一道题目,以及一个数值标准答案。它同时考验模型的三种能力:
- VLM 图像理解:从图形中读取长度、角度等几何关系;
- 多轮推理:把复杂题目拆成若干中间步骤;
- 工具调用:用 Python 代码验算每一步,避免"心算"出错。
这正是 Molt "Agent 即程序"设计理念的最佳载体——奖励函数、工具、环境交互全部由你用纯 Python 编写,训练框架完全不用改动。Molt 为此提供了两种 Agent 写法:
| 写法 | 特点 | 适用场景 |
|---|---|---|
Env(step/reset,Gymnasium 风格) |
框架驱动 vLLM 循环,你只需实现 step() |
环境逻辑清晰、需要框架管理多轮拼接 |
ChatAgent(OpenAI SDK 黑盒) |
你自己掌握对话循环,通过 ctx.base_url 调用模型 |
外部 Agent 框架、浏览器自动化、评测脚本 |
两种写法的公开接口都在 molt/agents/init.py 中导出:Env、ChatAgent、Result、StepEnvRunner、ChatAgentRunner 等。
二、准备工作:一键准备 geo3k 数据集
运行 RL 前需要把数据集转成 Molt 的 schema。官方脚本 examples/python/utils/prepare_geo3k.py 会自动拉取 HuggingFace 数据集、下载图片、注入工具 schema:
python3 examples/python/utils/prepare_geo3k.py --num-proc 8 --out-dir .tmp/geo3k
每行数据会包含:
prompt:聊天格式的题目(含<image>占位符);tools:python_executor工具的 OpenAI 风格 schema——chat template 会把它渲染成系统侧提示,让模型原生产出 `
登录后查看全文
