ReWOO 项目使用教程

1. 项目介绍

ReWOO（Reasoning WithOut Observation）是一个模块化范式，旨在将推理过程与外部观察分离，从而显著减少令牌消耗，提高增强语言模型（ALM）的效率。该项目通过解耦推理和观察，实现了在多个公共NLP基准和精选数据集上的性能增强，特别是在多步推理基准HotpotQA上，ReWOO实现了5倍的令牌效率和4%的准确性改进。

2. 项目快速启动

安装依赖

首先，确保你已经安装了Python环境，然后使用以下命令安装项目依赖：

pip install -r requirements.txt

生成API密钥

从OpenAI、WolframAlpha和SerpApi生成API密钥，并将这些密钥保存到以下路径：

• OpenAI密钥：/keys/openai_key
• WolframAlpha密钥：/keys/wolfram_key
• SerpApi密钥：/keys/serpapi_key

运行单次任务

使用以下命令运行单次任务：

python run.py --method rewoo --toolset Google LLM --base_lm text-davinci-003

批量评估

使用以下命令进行批量评估：

python run_eval.py --method rewoo --dataset hotpot_qa --sample_size 10 --toolset Wikipedia LLM --base_lm gpt-3.5-turbo --save_result

3. 应用案例和最佳实践

案例1：多步推理任务

在HotpotQA基准上，ReWOO展示了显著的性能提升，特别是在多步推理任务中，ReWOO能够减少5倍的令牌消耗，并提高4%的准确性。

案例2：工具故障场景

ReWOO在工具故障场景下展示了稳健性，能够在工具调用失败的情况下，仍然保持较高的推理准确性。

最佳实践

• 选择合适的工具集：根据任务需求选择合适的工具集，如Google、Wikipedia、WolframAlpha等。
• 优化语言模型：根据任务复杂度选择合适的语言模型，如GPT-3.5-turbo、text-davinci-003等。

4. 典型生态项目

Langchain

Langchain是一个用于构建语言模型应用的开源框架，ReWOO作为Langchain中的一个模块，能够显著提升语言模型的推理效率。

Gentopia

Gentopia是一个集成多种语言模型和工具的平台，ReWOO的官方实现已经集成到Gentopia中，用户可以在Gentopia中直接使用ReWOO进行高效推理。

通过以上步骤，你可以快速上手并应用ReWOO项目，提升语言模型的推理效率。