OSWorld项目官方排行榜提交指南

背景介绍

OSWorld作为一个开源的多模态智能体操作系统基准测试平台，为研究人员提供了评估其AI系统性能的标准环境。该平台维护着一个公开的排行榜(leaderboard)，用于展示不同团队在各项任务上的表现结果。

排行榜提交流程

想要将模型测试结果提交至OSWorld官方排行榜的研究人员，需要按照以下规范流程操作：

1. 准备提交材料：需要整理完整的测试结果数据、模型配置参数以及运行轨迹记录(traj)。这些信息将用于验证结果的真实性和可复现性。

2. 提交方式：目前采用邮件提交的方式，研究人员应将上述材料发送至项目维护团队指定的联系人邮箱。

3. 审核验证：项目团队收到提交后，会对材料进行审核验证，确保测试过程符合平台规范，结果真实可靠。

4. 结果更新：通过验证的结果将被更新至官方排行榜，供社区参考和比较。

注意事项

• 提交的测试结果应当基于OSWorld平台的标准测试集
• 需要提供足够详细的运行参数和配置信息
• 轨迹记录应完整反映模型的决策过程
• 建议在邮件中注明研究团队或机构名称

意义与价值

参与OSWorld排行榜不仅能够展示研究成果，还能促进学术交流和技术进步。通过公开透明的比较机制，推动多模态智能体操作系统领域的创新发展。

研究人员通过这种方式可以客观评估自己的模型在行业中的位置，同时也能从其他团队的优秀成果中获取灵感和改进方向。