Molt多轮Agent教程:geo3k VLM图像推理与Python工具调用强化学习

原创2026-10-13 23:55:201,653 阅读

Molt多轮Agent教程:geo3k VLM图像推理与Python工具调用强化学习

Molt 是一个 agentic-first(Agent 优先)的 PyTorch 原生强化学习框架,仅约 9.2K 行 RL 代码,支持 1T 级 MoE 模型的全异步多轮 Agent 训练。本教程以官方 geo3k 多轮 VLM 示例为主线,带你完整理解:如何给视觉语言模型(VLM)挂载 Python 沙盒工具,让模型"看图推理 → 调用工具验算 → 给出最终答案",并把这个多轮轨迹直接作为强化学习的训练样本。

Molt强化学习框架架构图:Agent、vLLM rollout、Ray 异步队列与单 Actor 训练器

一、为什么选 geo3k 作为多轮 Agent 入门案例

geo3k 是一个几何推理数据集:每条样本包含一张几何图形图片、一道题目,以及一个数值标准答案。它同时考验模型的三种能力:

  • VLM 图像理解:从图形中读取长度、角度等几何关系;
  • 多轮推理:把复杂题目拆成若干中间步骤;
  • 工具调用:用 Python 代码验算每一步,避免"心算"出错。

这正是 Molt "Agent 即程序"设计理念的最佳载体——奖励函数、工具、环境交互全部由你用纯 Python 编写,训练框架完全不用改动。Molt 为此提供了两种 Agent 写法:

写法 特点 适用场景
Env(step/reset,Gymnasium 风格) 框架驱动 vLLM 循环,你只需实现 step() 环境逻辑清晰、需要框架管理多轮拼接
ChatAgent(OpenAI SDK 黑盒) 你自己掌握对话循环,通过 ctx.base_url 调用模型 外部 Agent 框架、浏览器自动化、评测脚本

两种写法的公开接口都在 molt/agents/init.py 中导出:Env、ChatAgent、Result、StepEnvRunner、ChatAgentRunner 等。

二、准备工作:一键准备 geo3k 数据集

运行 RL 前需要把数据集转成 Molt 的 schema。官方脚本 examples/python/utils/prepare_geo3k.py 会自动拉取 HuggingFace 数据集、下载图片、注入工具 schema:

python3 examples/python/utils/prepare_geo3k.py --num-proc 8 --out-dir .tmp/geo3k

每行数据会包含:

  • prompt:聊天格式的题目(含 <image> 占位符);
  • tools:python_executor 工具的 OpenAI 风格 schema——chat template 会把它渲染成系统侧提示,让模型原生产出 `
登录后查看全文
labs-molt