Trinity-RFT + AgentScope实战:用一份YAML配置训练会自主搜索的Web Search Agent

原创2026-10-31 22:53:381,961 阅读
文章标签:人工智能大模型强化学习RLHF微调分布式训练深度学习模型评测AI Agent本地部署

Trinity-RFT + AgentScope实战:用一份YAML配置训练会自主搜索的Web Search Agent

想让大模型学会上网搜索并给出准确答案?Trinity-RFT 开源强化微调(RFT)框架搭配 AgentScope 智能体框架,只需一份 YAML 配置文件,就能训练出会自主搜索、多步推理的 Web Search Agent。本文带你从零开始:准备环境、读懂配置、跑通训练,全程不需要修改 Agent 应用代码。

Trinity-RFT强化微调框架的Explorer、Buffer、Trainer三大组件架构图

为什么能只靠一份YAML训练智能体?

传统做法里,给 Agent 做强化学习训练往往要大改源码:收集对话历史、token 数、logprobs……对新手非常不友好。Trinity-RFT 的思路是解耦:

  • Explorer:让 Agent 与环境(这里是网络搜索工具)交互,生成经验数据;
  • Trainer:用收集到的经验更新模型权重;
  • Buffer:在两者之间做数据流转与处理。

它通过包装 openai.AsyncOpenAI 接口接入任意 Agent 框架——只要你的 Agent 支持 OpenAI 接口(AgentScope 天然支持),Trinity-RFT 就能在模型调用时自动收集训练所需的全部信息,Agent 代码一行不改。

快速上手:3步完成环境准备 🚀

第1步:克隆仓库并安装依赖

git clone https://gitcode.com/gh_mirrors/tr/Trinity-RFT
pip install -e ./Trinity-RFT
pip install "agentscope>=1.0.4"

第2步:配置搜索工具的环境变量

本示例支持两种搜索后端,任选其一即可:

搜索工具 环境变量 说明
Tavily TAVILY_API_KEY 商业搜索 API,开箱即用
SearXNG SEARXNG_URL 自建搜索引擎实例地址
export TAVILY_API_KEY="your_tavily_api_key"

💡 MCP 客户端(tavily-mcp / mcp-searxng)会在首次运行时通过 npx 自动安装,无需手动处理。

第3步:生成训练数据集

示例基于 WebWalkerQA 数据集(真实网页问答),一条命令即可生成:

python examples/agentscope_websearch/get_webwalkerQA_data.py

脚本会自动完成筛选、切分训练/测试集并输出 train.jsonl 与 test.jsonl,逻辑详见 get_webwalkerQA_data.py。

一份YAML读懂Web Search Agent训练配置

所有训练参数都集中在 agentscopev1_websearch_agent.yaml 中,下面按功能块拆解关键配置:

算法:多步GRPO

algorithm:
  algorithm_type: multi_step_grpo   # 多步强化学习算法,专为多轮交互Agent设计
  repeat_times: 8                   # 每个任务采样8次rollout
  optimizer:
    lr: 1e-6

multi_step_grpo 是 Agent 任务的"标配":它把同一道题的多次探索按组对比优劣,而不是依赖绝对分数,非常适合搜索答案这种只有"对/错"奖励的场景。

核心:Rollout模型即你的Agent大脑

explorer:
  rollout_model:
    enable_openai_api: true        # 暴露OpenAI接口给Agent框架调用
    enable_history: true           # 自动记录对话历史用于训练
    enable_auto_tool_choice: true  # 允许模型生成tool_calls调用搜索
    tool_call_parser: hermes
    engine_num: 4                  # 4个推理引擎并行,加速rollout

auxiliary_models 里还挂了一个 Qwen3-4B 作为"裁判模型",专门给 Agent 的最终答案打分,产生 0/1 奖励信号。

工作流参数:控制搜索行为

在 agentscopev1_websearch_agent.yaml#L30-L37 中:

workflow_args:
  max_turns: 10              # Agent最多搜索-推理10轮
  search_client_type: tavily # 搜索后端:tavily 或 searxng
default_workflow_type: 'agentscope_v1_react_search_workflow'

max_turns 决定了 Agent 能自主搜索的上限;换搜索工具只需改 search_client_type。

动态同步:数据够了就开训

synchronizer:
  sync_style: explorer_driven  # 攒够一批经验立即训练,不等待凑满
  sync_method: 'nccl'
  sync_interval: 5

Agent 任务长短不一,这种"边跑边训"的机制能显著减少 GPU 空闲。

训练过程是如何运转的?

背后的工作流实现在 agentscopev1_search_workflow.py,每一步都很直观:

  1. 构建 ReAct Agent:用 AgentScope 的 ReActAgent 承载被训练的模型,设定"你是一名网络信息搜索专家"的系统提示词;
  2. 接入搜索工具:通过 MCP 协议注册 Tavily/SearXNG 搜索客户端,Agent 即可边推理边发搜索请求;
  3. LLM裁判打分:Agent 给出最终答案后,由辅助裁判模型对比标准答案,回答正确奖励 1,否则 0;
  4. 提取训练样本:自动从对话历史中提取每一步的 token_id、logprobs,结合奖励生成训练经验。

完整示例说明见 README.md,官方教程还有ReAct Agent 训练章节与多轮交互教程可以对照阅读。

训练效果:奖励曲线稳步爬升 📈

官方在 8 张 H20 GPU 上跑完整个训练约需 8 小时,最终平均奖励从 0.3 提升到 0.5 左右:

Trinity-RFT训练Web Search Agent的奖励曲线,奖励均值随训练步数持续上升

同时观察 Agent 的搜索轮数(react_turns),可以看到随着训练推进,Agent 主动使用的搜索轮次从 8 轮左右增加到 10 轮——它学会了用更多次搜索去啃更难的题目,这正是"会自主搜索"的体现:

Web Search Agent的ReAct搜索轮次曲线,平均搜索轮数随训练逐步增加

常见问题速查 💬

  • 想换别的搜索工具? 修改 agentscopev1_search_workflow.py 中注册 MCP 客户端的部分即可,接口已预留好。
  • GPU不够用怎么办? 减小 engine_num 与 gpu_per_node,参考GPU资源配置指南。
  • 想换成自己领域的Agent? 参考工作流开发教程,核心套路都是"替换 OpenAI 客户端 → 定义奖励 → 配置 YAML"。

总结:Trinity-RFT 把"智能体 + 强化学习"的复杂工程收敛成一份可读的 YAML——准备好数据、配好搜索工具、跑一条 trinity run --config 命令,一个会自主上网搜索的 Agent 就开始训练了。

登录后查看全文
Trinity-RFT