MMAudio 项目使用教程

1. 项目介绍

MMAudio 是一个开源项目，它通过多模态联合训练实现了高质量的视频转音频合成。该项目由 University of Illinois Urbana-Champaign、Sony AI 和 Sony Group Corporation 联合开发，并在 CVPR 2025 上发表。MMAudio 能够接受视频和/或文本输入，生成同步的音频。它的创新之处在于多模态联合训练，这使得模型可以在广泛的音视频和音频文本数据集上进行训练。此外，同步模块能够对生成的音频和视频帧进行对齐。

2. 项目快速启动

环境准备

• 操作系统：Ubuntu
• Python 版本：3.9 或更高
• PyTorch 版本：2.5.1 或更高
• torchvision/torchaudio：与 PyTorch 版本对应

安装依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade

克隆仓库

git clone https://github.com/hkchengrex/MMAudio.git

安装项目

cd MMAudio
pip install -e .

运行示例

默认使用 large_44k_v2 模型，该模型在 16 位模式下大约需要 6GB GPU 内存。以下是命令行界面的使用方法：

python demo.py --duration=8 --video=<path_to_video> --prompt="your prompt"

输出结果（音频为 .flac 格式，视频为 .mp4 格式）将保存在 ./output 目录中。如果要进行文本到音频的合成，可以省略 --video 选项。默认输出（和训练）时长为 8 秒。如果时长偏离训练时长过多，可能会导致输出质量下降。

3. 应用案例和最佳实践

• 视频处理：处理高分辨率视频会耗费更长时间，但这不会提高结果质量。CLIP 编码器将输入帧缩放到 384x384 像素。Synchformer 将较短的边缩放到 224 像素，并只关注每个帧的中心区域。
• 帧率：CLIP 模型支持 8 FPS，而 Synchformer 支持 25 FPS。帧率转换是在视频读取时实时进行的。
• 失败情况：此类模型的失败原因可能不明显。已知的失败模式包括性能变化、视频读取库/后端、推理精度、批量大小、随机种子等。

4. 典型生态项目

• av-benchmark：用于基准测试结果。

请注意，本教程仅为项目使用提供基本指南，详细配置和使用可能需要参考项目的官方文档和代码库。