Bench2Drive-VL 的项目扩展与二次开发

项目的基础介绍

Bench2Drive-VL 是一个针对自动驾驶领域视觉语言模型（VLMs）的全栈闭循环基准测试工具。它主要用于评估和提升VLMs在自动驾驶环境中的性能，通过模拟真实驾驶场景来测试模型的视觉问答（VQA）能力。

项目的核心功能

• VQA 生成: 使用基于规则的专家模型 DriveCommenter 在 CARLA 模拟器中或从静态数据集中生成 VQAs 的真实标注。
• 闭循环测试: 利用 CARLA 模拟器进行闭环测试，通过 VLMs 的输出控制车辆行为。
• 开放循环测试: 提供开放循环测试功能，用于评估 VLMs 在不同场景下的性能。
• 评估指标: 使用 Bench2Drive 原始指标对 VLMs 进行规划基准测试。

项目使用了哪些框架或库？

• CARLA Simulator: 用于创建模拟驾驶环境的游戏引擎。
• PythonAPI: CARLA 提供的 Python 接口，用于与模拟器交互。
• 其他可能使用的库: 根据项目代码目录中的文件，可能使用了 NumPy、Pandas 等数据科学库，以及 TensorFlow 或 PyTorch 等深度学习框架。

项目的代码目录及介绍

• B2DVL_Adapter: 包含与 VLMs 交互的适配器代码。
• assets: 存放项目所需的资源文件。
• docs: 项目文档和用户指南。
• leaderboard: 包含排行榜相关的代码和数据。
• scenario_runner: 场景运行器的代码，用于控制模拟器中的车辆。
• tools: 一些辅助工具的代码。

对项目进行扩展或者二次开发的方向

• 模型集成: 集成更多的 VLMs，支持多种模型的评估和比较。
• 环境扩展: 扩展 CARLA 模拟器中的地图和环境，增加测试的多样性。
• 数据增强: 开发数据增强工具，以提升模型的泛化能力。
• 性能优化: 优化代码和模型，提高测试效率和结果准确度。
• 用户界面: 开发用户友好的界面，方便用户进行测试和结果分析。
• API 集成: 提供API接口，允许其他应用程序集成 Bench2Drive-VL 的功能。