AudioTrust 的安装和配置教程

2025-05-28 15:55:45作者：魏献源Searcher

1. 项目基础介绍和主要编程语言

AudioTrust 是一个大规模的基准测试，旨在评估多模态音频语言模型（ALLMs）的多方面可信度。该项目通过检查模型在六个关键维度上的行为，包括虚构内容生成、鲁棒性、身份验证、隐私、公平性和安全性，来评估模型的可信度。AudioTrust 提供了专家注释的提示、模型间的评估以及可复现的评价脚本。该项目主要使用 Python 编程语言，同时也包含一些 Shell 脚本。

2. 项目使用的关键技术和框架

AudioTrust 项目使用以下关键技术和框架：

Python：作为主要编程语言，用于实现项目中的逻辑和数据处理。
Shell 脚本：用于自动化项目的某些执行步骤。
Hugging Face：用于加载和预处理数据集。
OpenAI API：用于调用 OpenAI 的模型进行评估。
Google API：可能用于调用 Google 提供的服务。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

在开始安装 AudioTrust 之前，请确保您的计算机已经安装了以下软件：

Python 3.6 或更高版本
Git -pip（Python 包管理器）

安装步骤

克隆项目仓库

打开终端（或命令提示符），执行以下命令克隆项目仓库：
```
git clone https://github.com/JusperLee/AudioTrust.git
```
克隆完成后，您将看到一个名为 AudioTrust 的文件夹。
安装依赖

进入 AudioTrust 文件夹，并安装项目所需的依赖：
```
cd AudioTrust
pip install -r requirements.txt
```
如果您打算使用离线模型，可以安装离线模型的依赖：
```
pip install -r requirements-offline-model.txt
```

加载数据集

使用 Hugging Face 加载数据集。这里以加载 hallucination 子数据集为例：

from datasets import load_dataset
dataset = load_dataset("JusperLee/AudioTrust", split="hallucination")

运行推理和评估

根据项目文档，您需要设置 API 密钥，然后运行推理和评估脚本。以下是一个示例：
- 运行推理脚本：
```
bash scripts/hallucination/inference/gemini-2.5-pro.sh
```
- 运行评估脚本：
```
bash scripts/hallucination/evaluation/gpt-4o.sh
```
或者，您可以直接使用 Python 运行推理：
```
export OPENAI_API_KEY=your-openai-api-key
python main.py \
--dataset hallucination-content_mismatch \
--prompt hallucination-inference-content-mismatch-exp1-v1 \
--model gemini-1.5-pro
```
请将 your-openai-api-key 替换为您自己的 OpenAI API 密钥。