Stable Audio 3 MLX 部署教程:Apple Silicon Mac 上推理与 LoRA 训练完整指南

原创2026-10-27 07:07:342,564 阅读

Stable Audio 3 MLX 部署教程:Apple Silicon Mac 上推理与 LoRA 训练完整指南

Stable Audio 3(简称 SA3)是 Stability AI 推出的开源音频/音乐生成平台,支持文生音频、音频编辑和 LoRA 风格微调。本文介绍 Stable Audio 3 的 MLX 部署方案:在 Apple Silicon Mac 上,仅用纯 MLX 框架(无需 PyTorch、transformers 等任何重型依赖)即可完成推理,并进一步用纯 MLX 完成 LoRA 微调训练。整个流程安装只需约 10 秒,8 GB 统一内存的 M1 即可跑通全部模型。

一、为什么选择 MLX 部署

optimized/mlx/ 目录下的 README.md 是这个子项目的说明书。它把 T5Gemma 文本编码器、DiT 扩散主干和 SAME 音频编解码器全部重写为 MLX 实现,带来三个直接好处:

  • 零 PyTorch 依赖:运行环境只需要 mlx,安装极快,内存占用显著低于 PyTorch;
  • 统一内存友好:通过 --free-models(默认开启)在采样完成后逐级释放 T5Gemma、DiT,让解码器独享显存,8 GB 机器也能跑 medium 大模型;
  • LoRA 生态互通:训练出的 .safetensors 检查点与 PyTorch 版训练器格式完全一致(相同的键名和 lora_config 元数据),两个方向的适配器可以互换使用。

SA3 的推理链路为:prompt → T5Gemma 编码器 → DiT pingpong 采样器 → SAME-S/L 解码器 → WAV,整体架构可参考下图:

Stable Audio 3 语义-声学音频生成架构流程图

二、MLX 部署一键安装步骤

cd optimized/mlx
./install.sh          # 一次性初始化

install.sh 基于 uv 完成全部工作:自动安装 uv(如缺失)、创建 Python 3.11 虚拟环境、快速安装依赖,并交互式询问需要下载哪个 DiT 权重包(T5Gemma 文本编码器只下载一次)。官方文档称全新机器端到端只需 约 10 秒 + 权重下载时间。

💡 也可以完全跳过安装:直接运行 ./sa3 --prompt "...",缺失的权重会在首次使用时自动从 HuggingFace 下载并软链到 models/mlx/,不会重复占用磁盘。

三、三种模型与推理模式

--dit 参数对应三个 DiT 模型,--decoder 与之配套:

--dit 模型 适用场景
sm-music sa3-sm-music(50M block) 快速音乐生成
sm-sfx sa3-sm-sfx(50M block) 音效生成
medium sa3-medium-ARC(1.4B) 高质量音乐,速度较慢

./sa3 是 scripts/sa3_mlx.py 的 shell 包装,四种常用生成模式对应不同参数组合:

模式 关键参数 用途
文生音频 --prompt P 从描述生成新片段
音频到音频 --prompt P --init-audio IN.wav --init-noise-level σ 对已有片段做风格变体
局部重绘(inpainting) --prompt P --init-audio IN.wav --inpaint-range "S,E" 只重生成某几秒
CFG + 负提示 --cfg 3.0 --negative-prompt P_NEG 控制提示引导强度

典型命令:

# 文生音频:lofi house 循环
./sa3 --prompt "lofi house loop" --dit sm-music --decoder same-s --out lofi.wav

# 高质量音乐(medium DiT + SAME-L 解码器)
./sa3 --prompt "A beautiful piano arpeggio grows into a cinematic climax" \
      --dit medium --decoder same-l --seconds 30 --out piano.wav

# 生成并立即播放
./sa3 --prompt "rainforest" --dit sm-sfx --decoder same-s --play

省略 --dit / --decoder 时会弹出方向键选择器;相对路径的 --out 自动落入 output/ 目录。

Gradio Web UI 界面

命令行之外,仓库还提供 Web UI:

./sa3-gradio               # 默认生成公网分享链接
./sa3-gradio --no-share    # 仅本地 http://127.0.0.1:7860

UI 中所有生成模式都已接好线:CFG 0–10 滑块、音频到音频(guide audio + σmax 滑块)、inpainting(起止秒数滑块),且两种模式可以叠加。模型可在下拉框中热切换并缓存在统一内存里,切回瞬间完成;每个片段还会附带三通道着色 mel 频谱图(低音=红 / 中音=绿 / 高音=蓝)。实现见 scripts/sa3_gradio.py。

四、纯 MLX LoRA 训练:三步工作流

这是本教程的重点:全程不用 PyTorch,在 Mac 上就能完成 SA3 的风格微调。完整约定详见 TRAINING_CONVENTIONS.md,核心流程只有三步:预编码 → 训练 → 生成。

⚠️ 注意:训练使用的是 BASE 基座检查点(rectified_flow 格式),而不是推理时用的 ARC 蒸馏权重。base 权重的 npz 会在首次训练时自动从 HuggingFace 下载,无需手动指定。

第 1 步:预编码音频为 SAME 潜变量

把音频目录一次性离线编码为潜变量(每个文件生成 <stem>.npy 潜变量 + <stem>.json 元数据旁路文件):

uv run python scripts/pre_encode_mlx.py \
    --audio-dir ~/my-clips --output-dir ~/my-latents --codec same-s

sm-music / sm-sfx 用 same-s 编解码器,medium 用 same-l。脚本为 scripts/pre_encode_mlx.py。建议数据集至少 20–50 个带文字描述的音频片段,越多越好。

第 2 步:运行 MLX LoRA 训练器

uv run python scripts/lora_train_mlx.py \
    --dit sm-music --latents-dir ~/my-latents --lr 1e-4 --name my-lora \
    --adapter-type dora-rows --rank 16 --max-steps 2000

默认配置对齐了 SA3 生态的标准训练约定:dora-rows / rank 16、AdamW 优化器、uniform 时间步采样 + "full" 分布偏移、CFG-dropout 0.1、仅信号区域的 masked rectified-flow 损失、每 1000 步保存一次检查点。检查点保存到 output/runs/<name>/<uuid>/checkpoints/,并带有 lora_config 元数据,可用 --lora-ckpt-path 断点续训。

训练器支持全部 9 种 LoRA/DoRA/BoRA/-XS 适配器类型(见 models/defs/lora.py),损失、时间步采样器和分布偏移实现在 models/defs/training.py。官方还通过 scripts/parity_forward_mlx.py 与 scripts/parity_forward_torch.py 做了 MPS(torch) vs MLX 的前向+反向一致性验证,损失差异仅约 6e-4,可放心使用。

第 3 步:用你的 LoRA 生成音频

训练出的适配器在推理时直接通过 --lora 加载合并,基座模型必须与 --dit 匹配:

./sa3 --dit sm-music --decoder same-s --prompt "your style prompt" --out finetuned.wav \
      --lora "output/runs/my-lora/"*"/checkpoints/my-lora-step=2000-epoch="*.safetensors

还支持每个适配器独立的强度与采样步门控,可重复传 --lora 叠加多个适配器:

./sa3 --prompt "progressive metal instrumental" --dit medium --decoder same-l \
      --lora myband.safetensors strength=0.8 steps=2- \
      --lora rain_texture.safetensors steps=-4 --out prog.wav

训练与推理阶段的模型关系可以参考 SA3 的训练阶段图(base 模型经蒸馏与对抗后训练得到推理模型):

Stable Audio 3 模型训练阶段流程图

五、MLX 推理速度与内存实测

官方在 M1 8 GB(最慢的 M 芯片)上测得:sm 模型生成 10 秒音频约 1 秒(约 10× 实时),峰值内存 1.6 GB;medium 约 5 秒(约 2× 实时),峰值 3.8 GB。M2 快 1.2–1.4 倍,M3 快 1.5–2 倍,M4 快 2–3 倍。

在 M4 Pro / 48 GB 上的完整基准(uv run --no-project python scripts/benchmark.py 可在本机复现):

模型 解码器 时长 耗时 实时倍数 峰值内存
sm-music same-s 5 s 0.80 s 6.3× 1.62 GB
sm-music same-s 30 s 1.53 s 19.6× 1.94 GB
sm-music same-s 120 s 4.12 s 29.1× 2.38 GB
sm-music same-s 380 s 13.46 s 28.2× 2.58 GB
medium same-l 5 s 2.20 s 2.3× 3.82 GB
medium same-l 120 s 14.68 s 8.2× 5.21 GB
medium same-l 380 s 47.78 s 8.0× 5.05 GB

训练侧同样亮眼:在 M4 Pro 上,MLX LoRA 训练稳定跑到 1.65 it/s,比 PyTorch MPS 快 2.47 倍,且产出的检查点与 underfit 仪表盘完全兼容。

六、项目文件速查

文件 说明
optimized/mlx/sa3 推理 CLI 入口(薄 shell 包装)
optimized/mlx/scripts/sa3_mlx.py 推理编排主脚本
optimized/mlx/scripts/sa3_gradio.py Web UI
optimized/mlx/scripts/pre_encode_mlx.py 音频 → SAME 潜变量预编码
optimized/mlx/scripts/lora_train_mlx.py 纯 MLX LoRA 训练 CLI
optimized/mlx/scripts/benchmark.py 本机速度/内存基准
optimized/mlx/models/defs/dit_mlx.py 小型 DiT(sm-music / sm-sfx)
optimized/mlx/models/defs/dit_mlx_medium.py medium DiT(differential attention)
optimized/mlx/models/defs/lora.py 9 种可训练适配器实现
optimized/mlx/models/defs/lora_merge.py 推理时 LoRA 合并 + 步数门控
optimized/mlx/models/defs/training.py RF 损失 + 时间步采样器

写在最后

Stable Audio 3 的 MLX 部署把"Mac 只能跑小模型"变成了历史:8 GB 的 M1 就能实时生成音乐,M4 上训练 LoRA 的速度甚至超过同机 PyTorch MPS。从 ./install.sh 到第一条 ./sa3 --prompt ... 命令,你只需要几分钟;而从自己的一小堆音频片段到专属风格适配器,三步工作流(预编码、训练、生成)让个人化微调变得前所未有地简单。

登录后查看全文
stable-audio-3