Terminal-Bench 开源项目最佳实践教程

1. 项目介绍

Terminal-Bench 是由 Laude Institute 开发的一个开源项目，旨在为大型语言模型（LLM）提供一个在真实终端环境下的测试基准。这个项目通过一系列的终端任务来评估 AI 代理如何处理现实世界中的端到端任务，如编译代码、训练模型和设置服务器等。Terminal-Bench 包含两部分：一个任务数据集和一个将语言模型连接到终端沙盒的执行框架。

2. 项目快速启动

环境准备

在开始之前，确保您的系统中已经安装了以下依赖：

• Docker
• Python 3.7 或更高版本
• uv 工具（用于运行 Python 脚本）

克隆项目

git clone https://github.com/laude-institute/t-bench.git
cd t-bench

安装依赖

pip install -r requirements.txt

运行执行框架

安装完成后，您可以通过以下命令运行执行框架：

uv run scripts_python/run_harness.py

如果要指定特定的代理、模型和任务配置，可以使用以下命令：

export ANTHROPIC_API_KEY=<YOUR_KEY>
uv run scripts_python/run_harness.py \
  --agent terminus \
  --model-name anthropic/claude-3-7-latest \
  --dataset-config datasets/terminal-bench-core-v0.yaml \
  --n-concurrent-runs 8

请替换 <YOUR_KEY> 为您的 Anthropic API 密钥。

3. 应用案例和最佳实践

创建新任务

创建新任务最简单的方式是使用任务向导。在安装并配置好环境后，运行以下命令：

uv run wizard

这将为您提供一个交互式的界面，指导您创建新的任务。

贡献任务

贡献新任务时，请确保遵循以下最佳实践：

• 任务描述应该清晰、具体。
• 提供的测试脚本能准确验证任务的完成情况。
• 提供参考（Oracle）解决方案，以便他人可以理解任务的要求。

代码审查

在贡献代码之前，请确保代码风格整洁，遵循项目现有的编码标准。使用 pre-commit 插件进行代码格式化和检查：

pre-commit install
pre-commit run --all-files

4. 典型生态项目

Terminal-Bench 作为一个测试基准，可以与多种 AI 代理和模型集成。以下是一些典型的生态项目：

• 模型集成：集成不同的语言模型，如 GPT-3、BERT 等，来评估它们在终端任务中的表现。
• 任务自动化：使用 Terminal-Bench 自动化执行和评估复杂的终端任务。
• 教育研究：在教育领域使用 Terminal-Bench 作为教学工具，帮助学生和研究人员理解 AI 代理的终端任务处理能力。

通过遵循上述最佳实践，您可以更好地利用 Terminal-Bench 项目，为 AI 代理的终端任务处理提供有效的测试和评估。