Trinity-RFT + AgentScope实战:用一份YAML配置训练会自主搜索的Web Search Agent
Trinity-RFT + AgentScope实战:用一份YAML配置训练会自主搜索的Web Search Agent
想让大模型学会上网搜索并给出准确答案?Trinity-RFT 开源强化微调(RFT)框架搭配 AgentScope 智能体框架,只需一份 YAML 配置文件,就能训练出会自主搜索、多步推理的 Web Search Agent。本文带你从零开始:准备环境、读懂配置、跑通训练,全程不需要修改 Agent 应用代码。
为什么能只靠一份YAML训练智能体?
传统做法里,给 Agent 做强化学习训练往往要大改源码:收集对话历史、token 数、logprobs……对新手非常不友好。Trinity-RFT 的思路是解耦:
- Explorer:让 Agent 与环境(这里是网络搜索工具)交互,生成经验数据;
- Trainer:用收集到的经验更新模型权重;
- Buffer:在两者之间做数据流转与处理。
它通过包装 openai.AsyncOpenAI 接口接入任意 Agent 框架——只要你的 Agent 支持 OpenAI 接口(AgentScope 天然支持),Trinity-RFT 就能在模型调用时自动收集训练所需的全部信息,Agent 代码一行不改。
快速上手:3步完成环境准备 🚀
第1步:克隆仓库并安装依赖
git clone https://gitcode.com/gh_mirrors/tr/Trinity-RFT
pip install -e ./Trinity-RFT
pip install "agentscope>=1.0.4"
第2步:配置搜索工具的环境变量
本示例支持两种搜索后端,任选其一即可:
| 搜索工具 | 环境变量 | 说明 |
|---|---|---|
| Tavily | TAVILY_API_KEY |
商业搜索 API,开箱即用 |
| SearXNG | SEARXNG_URL |
自建搜索引擎实例地址 |
export TAVILY_API_KEY="your_tavily_api_key"
💡 MCP 客户端(
tavily-mcp/mcp-searxng)会在首次运行时通过npx自动安装,无需手动处理。
第3步:生成训练数据集
示例基于 WebWalkerQA 数据集(真实网页问答),一条命令即可生成:
python examples/agentscope_websearch/get_webwalkerQA_data.py
脚本会自动完成筛选、切分训练/测试集并输出 train.jsonl 与 test.jsonl,逻辑详见 get_webwalkerQA_data.py。
一份YAML读懂Web Search Agent训练配置
所有训练参数都集中在 agentscopev1_websearch_agent.yaml 中,下面按功能块拆解关键配置:
算法:多步GRPO
algorithm:
algorithm_type: multi_step_grpo # 多步强化学习算法,专为多轮交互Agent设计
repeat_times: 8 # 每个任务采样8次rollout
optimizer:
lr: 1e-6
multi_step_grpo 是 Agent 任务的"标配":它把同一道题的多次探索按组对比优劣,而不是依赖绝对分数,非常适合搜索答案这种只有"对/错"奖励的场景。
核心:Rollout模型即你的Agent大脑
explorer:
rollout_model:
enable_openai_api: true # 暴露OpenAI接口给Agent框架调用
enable_history: true # 自动记录对话历史用于训练
enable_auto_tool_choice: true # 允许模型生成tool_calls调用搜索
tool_call_parser: hermes
engine_num: 4 # 4个推理引擎并行,加速rollout
auxiliary_models 里还挂了一个 Qwen3-4B 作为"裁判模型",专门给 Agent 的最终答案打分,产生 0/1 奖励信号。
工作流参数:控制搜索行为
在 agentscopev1_websearch_agent.yaml#L30-L37 中:
workflow_args:
max_turns: 10 # Agent最多搜索-推理10轮
search_client_type: tavily # 搜索后端:tavily 或 searxng
default_workflow_type: 'agentscope_v1_react_search_workflow'
max_turns 决定了 Agent 能自主搜索的上限;换搜索工具只需改 search_client_type。
动态同步:数据够了就开训
synchronizer:
sync_style: explorer_driven # 攒够一批经验立即训练,不等待凑满
sync_method: 'nccl'
sync_interval: 5
Agent 任务长短不一,这种"边跑边训"的机制能显著减少 GPU 空闲。
训练过程是如何运转的?
背后的工作流实现在 agentscopev1_search_workflow.py,每一步都很直观:
- 构建 ReAct Agent:用 AgentScope 的
ReActAgent承载被训练的模型,设定"你是一名网络信息搜索专家"的系统提示词; - 接入搜索工具:通过 MCP 协议注册 Tavily/SearXNG 搜索客户端,Agent 即可边推理边发搜索请求;
- LLM裁判打分:Agent 给出最终答案后,由辅助裁判模型对比标准答案,回答正确奖励 1,否则 0;
- 提取训练样本:自动从对话历史中提取每一步的
token_id、logprobs,结合奖励生成训练经验。
完整示例说明见 README.md,官方教程还有ReAct Agent 训练章节与多轮交互教程可以对照阅读。
训练效果:奖励曲线稳步爬升 📈
官方在 8 张 H20 GPU 上跑完整个训练约需 8 小时,最终平均奖励从 0.3 提升到 0.5 左右:
同时观察 Agent 的搜索轮数(react_turns),可以看到随着训练推进,Agent 主动使用的搜索轮次从 8 轮左右增加到 10 轮——它学会了用更多次搜索去啃更难的题目,这正是"会自主搜索"的体现:
常见问题速查 💬
- 想换别的搜索工具? 修改 agentscopev1_search_workflow.py 中注册 MCP 客户端的部分即可,接口已预留好。
- GPU不够用怎么办? 减小
engine_num与gpu_per_node,参考GPU资源配置指南。 - 想换成自己领域的Agent? 参考工作流开发教程,核心套路都是"替换 OpenAI 客户端 → 定义奖励 → 配置 YAML"。
总结:Trinity-RFT 把"智能体 + 强化学习"的复杂工程收敛成一份可读的 YAML——准备好数据、配好搜索工具、跑一条 trinity run --config 命令,一个会自主上网搜索的 Agent 就开始训练了。


