【亲测免费】 Qwen-Audio 开源项目使用教程

1. 项目介绍

Qwen-Audio 是由阿里巴巴云提出的一个多模态大型音频语言模型。该项目接受多种音频（如人类语音、自然声音、音乐和歌曲）和文本作为输入，并输出文本。Qwen-Audio 的主要贡献包括：

• 基础音频模型：Qwen-Audio 是一个支持多种任务、语言和音频类型的多任务音频语言模型，作为通用音频理解模型。
• 多任务学习框架：通过多任务学习框架，Qwen-Audio 能够处理各种类型的音频，并避免数据集之间的干扰。
• 强大的性能：实验结果表明，Qwen-Audio 在多个基准任务上表现出色，无需特定任务的微调。

2. 项目快速启动

环境要求

• Python 3.8 及以上
• PyTorch 1.12 及以上（推荐 2.0 及以上）
• CUDA 11.4 及以上（适用于 GPU 用户）
• FFmpeg

安装依赖

pip install -r requirements.txt

使用示例

以下是使用 Qwen-Audio 进行推理的简单示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
import torch

torch.manual_seed(1234)

# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-Audio-Chat", trust_remote_code=True)

# 使用 CUDA 设备
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio-Chat", device_map="cuda", trust_remote_code=True).eval()

# 指定生成超参数（如果使用 transformers > 4.32.0 则不需要）
model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-Audio-Chat", trust_remote_code=True)

# 第一个对话轮次
query = tokenizer.from_list_format([
    {'audio': 'assets/audio/1272-128104-0000.flac'},  # 本地路径或 URL
    {'text': '请描述这段音频的内容。'}
])

response = model.generate(query)
print(response)

3. 应用案例和最佳实践

案例1：音频内容描述

Qwen-Audio 可以用于自动描述音频内容，适用于语音助手、音频标注等场景。

案例2：音频翻译

Qwen-Audio 支持语音到文本的翻译，适用于多语言会议记录、跨语言交流等场景。

最佳实践

• 数据预处理：确保音频数据格式正确，推荐使用 30 秒以内的音频片段。
• 模型调优：根据具体任务调整生成超参数，以获得最佳性能。

4. 典型生态项目

项目1：Qwen-Audio-Chat

Qwen-Audio-Chat 是基于 Qwen-Audio 的多模态 AI 助手，支持多轮对话和多种音频场景。

项目2：Qwen-Audio-Evaluation

Qwen-Audio-Evaluation 提供了评估 Qwen-Audio 性能的脚本，帮助用户了解模型在不同任务上的表现。

通过以上模块，您可以快速上手 Qwen-Audio 项目，并了解其在实际应用中的潜力。