视频游戏评估框架使用教程

1. 项目目录结构及介绍

VideoGameBench 是一个用于评估视觉语言模型（VLMs）在视频游戏理解和交互中的性能的开源项目。以下是项目的目录结构和相关文件介绍：

videogamebench/
├── configs/          # 包含各个游戏配置文件
├── media/            # 存储游戏媒体文件（如ROMs和图像）
├── src/              # 源代码目录
│   ├── evaluator.py  # 主评估循环和游戏剧集管理
│   ├── run_dos.py    # DOS游戏运行器和浏览器控制
│   ├── run_gb.py     # Game Boy游戏运行器
│   ├── llm/          # LLM和代理逻辑
│   │   ├── llm_client.py  # LLMLite逻辑
│   │   └── realtime_agent.py  # Game Boy和DOS的代理逻辑
├── .gitignore        # 指定git忽略的文件
├── LICENSE           # 项目许可证信息
├── README.md         # 项目说明文件
├── main.py           # 主文件
├── requirements.txt  # 项目依赖文件
└── setup.py          # 项目安装脚本

2. 项目的启动文件介绍

项目的启动文件是 main.py，它是程序的入口点。这个文件负责解析命令行参数，初始化游戏和模型，并开始游戏评估过程。以下是一个简单的启动示例：

python main.py --game pokemon_red --model gpt-4o

在上面的命令中，--game 参数指定了要运行的游戏（这里是 pokemon_red），而 --model 参数指定了要使用的模型（这里是 gpt-4o）。

3. 项目的配置文件介绍

配置文件位于 configs/ 目录下，每个游戏都有自己的配置文件。这些文件控制了游戏的一些设置，例如游戏特定提示、预加载操作等。

每个游戏配置文件通常包含以下部分：

• config.yaml：游戏的主要配置文件，包含了游戏运行时需要的设置。
• prompt.txt：游戏特定的提示文件，包含了在每个步骤提供给模型的提示信息。
• game.html（可选）：对于DOS游戏，可以提供一个自定义的HTML模板来覆盖默认的 JS-DOS HTML。
• preload.txt（可选）：对于DOS游戏，可以预加载一系列操作和延迟，用于游戏中的困难选择菜单或其他预设操作。

配置文件的正确设置对于游戏运行和模型评估至关重要。用户需要根据具体游戏的要求来调整配置文件。