JARVIS项目中EasyTool工具链评估结果的技术解析

微软JARVIS项目中的EasyTool组件近期在ToolBench基准测试中进行了全面评估，本文将对评估结果进行技术解读和分析。

评估结果发布情况

项目团队已经发布了EasyTool在ToolBench测试中的完整评估结果数据。这些结果数据展示了不同模型在使用EasyTool工具链时的表现，包括工具调用轨迹和最终评估指标。

数据组织问题与修正

在最初发布的评估结果中，存在一个技术细节问题：所有结果文件的方法字段都被标记为"compression_no_retrieve"，而实际上部分测试是使用了检索机制的。项目团队确认这属于数据组织时的格式问题，不会影响实际的评估效果。目前团队已经对ChatGPT和GPT-4的相关数据进行了修正和重新上传。

工具调用范围的技术分析

评估过程中发现一个有趣的技术现象：在使用检索机制的测试中(easytool_retrieve目录)，模型确实可以调用超出预设基础工具集范围的其他工具，这体现了工具检索机制的有效性。然而在标准测试中(easytool目录)，原则上不应出现这种情况。

项目团队在检查中发现部分标准测试结果中确实存在工具调用超出范围的情况，例如在货币转换查询中调用了未预设的"Convert Currency"工具。这促使团队对评估数据进行了全面复核和修正。

后续工作计划

目前部分模型的评估数据(如mistral和vicuna)由于服务器维护暂时无法更新，项目团队表示将在维护完成后尽快整理并重新上传完整的评估数据集。这一过程体现了开源项目对数据质量和评估严谨性的高标准要求。

技术启示

这一评估过程为工具学习领域提供了几个重要启示：

1. 工具检索机制确实能够扩展模型的工具使用能力
2. 评估数据的组织和标注需要极高的精确度
3. 持续维护和更新评估数据集对研究社区至关重要

JARVIS项目的这一工作为工具增强型语言模型的研究树立了良好的实践范例。