AudioTrust 的安装和配置教程

1. 项目基础介绍和主要编程语言

AudioTrust 是一个大规模的基准测试，旨在评估多模态音频语言模型（ALLMs）的多方面可信度。该项目通过检查模型在六个关键维度上的行为，包括虚构内容生成、鲁棒性、身份验证、隐私、公平性和安全性，来评估模型的可信度。AudioTrust 提供了专家注释的提示、模型间的评估以及可复现的评价脚本。该项目主要使用 Python 编程语言，同时也包含一些 Shell 脚本。

2. 项目使用的关键技术和框架

AudioTrust 项目使用以下关键技术和框架：

• Python：作为主要编程语言，用于实现项目中的逻辑和数据处理。
• Shell 脚本：用于自动化项目的某些执行步骤。
• Hugging Face：用于加载和预处理数据集。
• OpenAI API：用于调用 OpenAI 的模型进行评估。
• Google API：可能用于调用 Google 提供的服务。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

在开始安装 AudioTrust 之前，请确保您的计算机已经安装了以下软件：

• Python 3.6 或更高版本
• Git -pip（Python 包管理器）

安装步骤

1. 克隆项目仓库

   打开终端（或命令提示符），执行以下命令克隆项目仓库：

   git clone https://github.com/JusperLee/AudioTrust.git
   

   克隆完成后，您将看到一个名为 AudioTrust 的文件夹。

2. 安装依赖

   进入 AudioTrust 文件夹，并安装项目所需的依赖：

   cd AudioTrust
   pip install -r requirements.txt
   

   如果您打算使用离线模型，可以安装离线模型的依赖：

   pip install -r requirements-offline-model.txt
   

3. 加载数据集

   使用 Hugging Face 加载数据集。这里以加载 hallucination 子数据集为例：

   from datasets import load_dataset
   dataset = load_dataset("JusperLee/AudioTrust", split="hallucination")
   

4. 运行推理和评估

   根据项目文档，您需要设置 API 密钥，然后运行推理和评估脚本。以下是一个示例：

   • 运行推理脚本：

     bash scripts/hallucination/inference/gemini-2.5-pro.sh
     

   • 运行评估脚本：

     bash scripts/hallucination/evaluation/gpt-4o.sh
     

   或者，您可以直接使用 Python 运行推理：

   export OPENAI_API_KEY=your-openai-api-key
   python main.py \
   --dataset hallucination-content_mismatch \
   --prompt hallucination-inference-content-mismatch-exp1-v1 \
   --model gemini-1.5-pro
   

   请将 your-openai-api-key 替换为您自己的 OpenAI API 密钥。

以上是 AudioTrust 的安装和配置教程。按照这些步骤操作，您应该能够成功安装并运行该项目。