GTA 项目亮点解析

项目基础介绍

GTA（General Tool Agents）是一个用于评估基于大型语言模型（LLM）的代理在现实场景中使用工具能力的一个基准测试。该基准测试包含了229个人类编写的查询，这些查询具有简单的现实世界目标，但隐含了对工具的使用，要求LLM推理出合适的工具和规划解决方案的步骤。GTA提供一个配备了感知、操作、逻辑和创造力类别的工具的评价平台，以评估代理的实际任务执行性能。每个查询都附有真实的图像文件，如空间场景、网页截图、表格、代码片段和打印/手写材料，作为查询的上下文，以紧密地与现实世界场景对齐。

项目代码目录及介绍

项目的代码库目录结构如下所示：

GTA/
├── agentlego
├── opencompass
│   ├── data
│   │   ├── gta_dataset
│   ├── ...
├── ...

在这个目录结构中，agentlego 和 opencompass 是项目的主要目录，其中 opencompass 目录下有一个 data 子目录，用于存放 gta_dataset 数据集。

项目亮点功能拆解

GTA 的亮点功能主要包括：

• 真实用户查询：包含229个人类编写的查询，这些查询具有简单的现实世界目标，但隐含了对工具的使用。
• 真实部署工具：提供一个配备了感知、操作、逻辑和创造力类别的工具的评价平台，以评估代理的实际任务执行性能。
• 真实多模态输入：每个查询都附有真实的图像文件，如空间场景、网页截图、表格、代码片段和打印/手写材料，作为查询的上下文，以紧密地与现实世界场景对齐。

项目主要技术亮点拆解

GTA 的主要技术亮点包括：

• 评估模式：包括步骤模式（用于评估模型的细粒度工具使用能力）和端到端模式（用于反映工具代理的实际任务执行性能）。
• 评估指标：步骤模式使用 InstAcc、ToolAcc、ArgAcc 和 SummAcc 四个指标，端到端模式使用 AnsAcc 和四个工具选择 F1 分数（P, O, L, C）来衡量工具选择能力。

与同类项目对比的亮点

相较于同类项目，GTA 的亮点在于：

• 更贴近现实世界的场景：GTA 的查询更贴近现实世界的场景，要求代理在实际环境中使用工具解决问题。
• 更全面的评估指标：GTA 提供了多个评估指标，能够更全面地评估代理的工具使用能力。
• 支持多模态输入：GTA 支持多模态输入，能够更好地模拟现实世界的复杂场景。