如何快速上手ReasoningBank:面向初学者的环境搭建与LLM配置完整教程

原创2026-11-12 09:56:121,655 阅读

如何快速上手ReasoningBank:面向初学者的环境搭建与LLM配置完整教程

ReasoningBank 是一个让 LLM Agent 拥有"推理记忆"的开源项目:Agent 在完成任务(包括失败的任务)后,会把思考过程提炼为记忆条目存入记忆库,下次遇到类似任务时自动检索复用,从而实现自我进化。本教程将带你从零完成 ReasoningBank 环境搭建 与 LLM 配置,并跑通 WebArena 与 SWE-Bench 两个官方实验。

一、ReasoningBank 是什么:Agent 的"推理记忆"机制

先花 1 分钟理解核心思路。传统的 Agent 记忆方案通常只保存"操作轨迹"(点了哪个按钮、执行了哪条命令)或"工作流模板",而 ReasoningBank 保存的是 带推理过程的经验(Think + Action),并通过"检索—提取—巩固"三步循环持续更新记忆库。官方对比实验显示:随着测试任务数量增加,使用 ReasoningBank 的 Agent 成功次数明显高于无记忆方案 📈

ReasoningBank 推理记忆机制总览与实验效果对比图

二、环境搭建步骤:克隆仓库与一键安装依赖

前置要求: Python 3.13+(pyproject.toml 中声明 requires-python = ">=3.13"),以及 git。

第 1 步:克隆仓库

git clone https://gitcode.com/gh_mirrors/re/reasoning-bank
cd reasoning-bank

第 2 步:安装依赖

推荐使用 uv(仓库已附带 uv.lock 锁文件,可精确复现依赖版本):

uv sync

如果你习惯用 pip,项目依赖完整声明在 pyproject.toml 中(包括 browsergym==0.14.1、playwright、torch、google-cloud-aiplatform、langchain 等),按其 dependencies 列表安装即可。

三、LLM 配置最快方法:GPT / Gemini / Claude 三种方式

ReasoningBank 支持三类模型,配置方式都是环境变量,无需修改任何代码。

方式 A:GPT 系列(gpt-3.5-turbo / gpt-4 / gpt-4o)

export OPENAI_API_KEY="your-openai-api-key"

方式 B:Gemini / Claude(通过 Vertex AI)

# 1. 安装 Google Cloud CLI 并登录,配置应用默认凭据(ADC)
gcloud auth application-default login

# 2. 设置项目、区域与 Vertex AI 开关
export GOOGLE_CLOUD_PROJECT="your-project-id"
export GOOGLE_CLOUD_LOCATION="your-region"
export GOOGLE_GENAI_USE_VERTEXAI="True"

💡 提示:WebArena 实验默认模型为 gemini-2.5-flash,也支持 claude-3-7-sonnet@20250219、gemini-2.5-pro 等(见 pipeline_memory.py 中的模型选项);SWE-Bench 示例同样默认 gemini-2.5-flash。

四、WebArena 实验:从零跑通浏览器 Agent

WebArena 让 Agent 在购物、Reddit、GitLab、Wikipedia 等仿真网站中执行真实任务。

1️⃣ 安装 browsergym:按 BrowserGym 官方文档安装(版本需为 0.14.1,与 pyproject.toml 锁定版本一致)。

2️⃣ 准备 Docker 环境:按 webarena-setup 教程下载并配置各网站的 Docker 镜像,按脚本文件名的数字顺序依次执行,执行前按脚本内注释修改各网站地址。配置完成后的地址变量示例可参考 WebArena/run.sh(如 WA_SHOPPING、WA_REDDIT、WA_GITLAB 等)。

3️⃣ 数据预处理:将 WebArena 原始测试文件 test.raw.json 放入 WebArena/config_files/。仓库已在 third_party/webarena/test.raw.json 内置了一份修正过购物标注的补丁版,可直接使用。然后执行预处理脚本:

cd WebArena
python config_files/generate_config_files.py

4️⃣ 挂载 vendored webarena 补丁树:仓库内置了修正过的 webarena 工具链(修复了心愿单评测、fill('','') 守卫等问题),将其加入 PYTHONPATH 即可自动屏蔽 pip 安装的版本:

export PYTHONPATH="$(pwd)/third_party:$PYTHONPATH"

5️⃣ 启动实验:

cd WebArena
python pipeline_memory.py --website shopping \
    --output_dir "$HOME/results" \
    --model gemini-2.5-flash

常用参数一览(完整定义见 pipeline_memory.py):

参数 说明 可选值
--website 目标网站 shopping / shopping_admin / gitlab / reddit / multi
--memory_mode 记忆机制 reasoningbank(默认)/ no_memory / awm / synapse
--model LLM 模型 gemini-2.5-flash / gemini-2.5-pro / claude-3-7-sonnet@20250219 等
--output_dir 结果输出目录 任意路径

pipeline_memory.py 会为每个任务自动执行三步:运行推理 → LLM 自动评测 → 提取新记忆(记忆管理逻辑在 memory_management.py 与 induce_memory.py 中)。想探索记忆感知的测试时扩展(test-time scaling),可查看 pipeline_scaling.py 与 induce_scaling.py。

五、SWE-Bench 实验:跑通软件工程 Agent

SWE-Bench 实验基于 mini-swe-agent 构建,步骤非常简洁:

第 1 步:安装 mini-swe-agent(源码安装)

cd third_party
pip install -e .

第 2 步:配置并运行:先按 SWE-Bench/run.sh 中的注释填好 Vertex AI 的三个环境变量(GOOGLE_CLOUD_PROJECT、GOOGLE_CLOUD_LOCATION、GOOGLE_GENAI_USE_VERTEXAI),然后执行:

bash SWE-Bench/run.sh

脚本内部等价于运行 mini-extra swebench --model gemini-2.5-flash --subset verified --split test --workers 1 --output ./results_memory_flash,结果会写入输出目录。评测可参考 mini-swe-agent 官方文档中的 sb-cli 命令。

六、记忆机制详解:三步循环让 Agent 持续进化

下面这张图展示了 ReasoningBank 的运行流程,看懂它你就完全理解了这个项目 🔍

ReasoningBank 记忆检索、提取与巩固三步循环流程图

  1. (i)Memory Retrieval 记忆检索:Agent 接到任务时,先从记忆库中检索相关经验,注入提示词;
  2. (ii)Memory Extraction 记忆提取:任务结束后(无论成功或失败),Memory Extractor 从轨迹中提取推理过程;
  3. (iii)Memory Consolidation 记忆巩固:新条目经筛选、合并后写入记忆库,供后续任务检索。

七、项目结构与关键文件速查

目录 / 文件 作用
WebArena/agents/ 与 browsergym 集成的 Web Agent 实现
WebArena/autoeval/ LLM-as-a-judge,为轨迹打分获取正确性信号
WebArena/config_files/ WebArena 任务数据预处理
WebArena/prompts/ 记忆指令与评测提示词模板
SWE-Bench/compute_stats.py SWE-Bench 结果统计
third_party/src/minisweagent/ 内置的 mini-swe-agent 源码(含记忆模块 memory/)
third_party/webarena/ 打过补丁的 webarena 评测工具链

八、新手常见问题 FAQ

Q1:pip install -r requirements.txt 报错找不到文件? 仓库没有 requirements.txt,依赖声明在 pyproject.toml 中,请用 uv sync 安装。

Q2:WebArena 运行报"找不到网站"? 请确认各网站 Docker 服务已启动,且 WA_SHOPPING 等环境变量与 WebArena/run.sh 中的地址一致。

Q3:Gemini/Claude 调用认证失败? 确认已执行 gcloud auth application-default login,并且 GOOGLE_GENAI_USE_VERTEXAI 设为 "True"。

Q4:想对比"有记忆 vs 无记忆"效果? 把 --memory_mode 改为 no_memory 再跑一轮,输出到不同 --output_dir 即可。

掌握以上步骤后,你就已经完成 ReasoningBank 的完整环境搭建与 LLM 配置,可以开始自己的 Agent 记忆实验了 🚀

登录后查看全文
reasoning-bank