本地跑出几分钟长音频,只要2秒:Stable Audio 3 Optimized五大硬件后端全景速览
本地跑出几分钟长音频,只要2秒:Stable Audio 3 Optimized五大硬件后端全景速览
Stable Audio 3 Optimized 是 Stability AI 推出的 Stable Audio 3 音频生成模型的本地推理加速包:一套模型、五套硬件后端,覆盖 NVIDIA GPU、Apple 芯片、通用 CPU 和 Intel 服务器,让你在本地就能把几分钟的长音频生成压缩到 2 秒左右。本文带你快速看懂这五大后端,并找到最适合你硬件的那一个。
一、Stable Audio 3 Optimized 是什么?
先说清楚"优化"的是谁。Stable Audio 3 是一组快速潜空间扩散模型(latent diffusion),基于 transformer 架构,支持可变长度的音乐与音效生成、音频编辑(inpainting)和续写:
- 🎵 生成几分钟的长音频:官方数据为 H200 GPU 上 2 秒内、MacBook Pro M4 上数秒内完成;
- 🎛️ 变长生成:短声音不会被迫跑满整段长度,成本可控;
- 🧩 SAME 语义-声学自编码器:把音频压进紧凑潜空间,扩散模型在此高效生成,保真度不缩水;
- ✂️ inpainting 局部编辑:只重生成某一时间段,其余保留。
模型分三个 DiT 家族,你在仓库里会反复看到这三个名字:
| 模型 | 规模 | 定位 |
|---|---|---|
sa3-m(medium) |
1.4B | 更高音质,速度稍慢 |
sa3-sm-music |
50M block | 快速音乐生成 |
sa3-sm-sfx |
50M block | 快速音效生成 |
文本条件由公开的 T5Gemma 编码器提供。仓库总览见 README.md。
二、五大硬件后端速览表:按你的硬件对号入座
这个仓库把同一套模型编译成了 5 种格式,放在 5 个目录里:
| 后端 | 目录 | 目标硬件 | 文件格式 | 一句话特点 |
|---|---|---|---|---|
| TensorRT | tensorRT/ | NVIDIA GPU(H100/H200/RTX 5090 等) | .trt |
速度天花板,支持运行时 LoRA |
| MLX | MLX/ | Apple Silicon(M 系列 Mac) | .npz |
Mac 原生加速,几秒出结果 |
| TFLite / LiteRT | tflite/ | 任意 CPU(x86 / ARM) | .tflite |
最便携,内存占用全程平稳 |
| cpu-amx | cpu-amx/ | Intel AMX Xeon 服务器 | .so + 权重 bin |
纯 C++ 推理,解码快 20~160 倍 |
| ONNX | onnx/ | 任意(中间格式) | .onnx |
自建后端的"源文件" |
💡 各后端的细节文档分别写在 tensorRT/README.md、tflite/README.md、cpu-amx/README.md。
三、后端一:TensorRT —— NVIDIA GPU 的速度天花板 🚀
预编译引擎按 CUDA 架构分两个目录:
tensorRT/sm_90/—— Hopper 架构(H100、H200);tensorRT/sm_120/—— Blackwell 架构(RTX 5090、RTX PRO 6000/4500)。
关键事实:
- 每个 DiT 提供三种精度:
dit_fp16.trt(默认,比 FP32 快约 4.3 倍且无可闻音质损失)、dit_fp32.trt(参考基准)、dit_fp8.trt(最快); - 运行时 LoRA:
dit_fp16_lora.trt把 LoRA/DoRA 适配器做成"网络输入"而非改权重,加载只需毫秒级、多个适配器可叠加以及各自调强度——这是 CPU 后端做不到的体验(仅限 sm_90); - 引擎不能跨架构移植:sm_90 的引擎在 sm_120 上无法加载,且绑定 TensorRT 版本(10.15.1.29)。其他 GPU 可用 onnx/ 里的图自己编译,约 5–8 分钟。
典型文件:tensorRT/sm_90/sa3-m/dit_fp16.trt、tensorRT/sm_90/t5gemma/t5gemma_fp16.trt。官方在 H200 上实测 SAME-L 解码 2 分钟音频只需约 61 ms,跑满 6 分 20 秒的 L=4096 也仅约 194 ms——这就是"2 秒出长音频"的来源。
四、后端二:MLX —— Apple Silicon 原生加速 🍎
MLX/ 目录存放 MLX 格式的权重文件(.npz),对应 Mac 上的 MLX 推理栈:
- DiT:
dit_medium_f16.npz、dit_sm-music_f16.npz、dit_sm-sfx_f16.npz(含 base 变体); - 文本编码器:MLX/t5gemma_f16.npz;
- SAME 编/解码器:
same_l/same_s的encoder/decoder_f32.npz。
官方口径是 MacBook Pro M4 上"数秒内"生成。如果你用的是 M 系列 Mac 想追求实时感,选 MLX;不想折腾 GPU 的话,TFLite 后端同样能跑通全流程。
五、后端三:TFLite —— 通用 CPU 的"平内存"方案 💻
tflite/ 是最便携的后端:不需要 PyTorch、不需要 GPU,只装一个 ai_edge_litert(LiteRT)就能驱动自包含的 .tflite 图,走 XNNPACK CPU delegate——macOS / Linux / Windows、x86 / ARM 全平台通吃,还带浏览器 Web UI。
最有意思的工程设计是"rung 阶梯"(rung-ladder):旧版变长(varlen)图会把完整 [heads, S, S] 注意力矩阵全部展开,内存随长度暴涨,380 秒上限时峰值冲到约 40 GB——普通电脑根本跑不动。新版 rung 阶梯把推理拆成 12 个固定尺寸子图、共享一份权重,XNNPACK 可以规划紧凑的激活内存区,于是 medium 模型在整个长度范围内峰值内存平稳在 2–4 GB:
小型模型(sm-music / sm-sfx)同样受益,2 分钟上限时从 3.8 GB 降到约 0.8 GB(少 4.5 倍):
精度与速度:
- DiT 默认
w8a8(cache-safe int8,文件约为 fp32 的 1/4、内存平稳),fp32为逐位参考; - SAME 编解码
w8a8相比fp32快约 3 倍、内存减半,且往返音质无损; - 现代笔记本 CPU 上 small 模型可轻松超过实时速度,
medium偏慢(fp32 图约 5.8 GB),建议生成 20 秒以上片段效果更连贯。
代表文件:tflite/sa3-m/dit_w8a8.tflite、tflite/t5gemma/encoder_fp16.tflite。还支持 LoRA 权重合并(需 fp32 DiT)、audio-to-audio 变体、inpainting 等完整功能集。
六、后端四:cpu-amx —— Intel AMX Xeon 服务器的纯 C++ 路线 🏭
cpu-amx/ 提供零 PyTorch 的 C++ 推理引擎:运行时只有 .so + numpy,整条链路 T5Gemma → DiT → SAME 解码全走 Intel AMX 矩阵单元。
- 目标硬件很明确:4/5 代 Sapphire Rapids / Emerald Rapids Xeon(需支持
amx_tile+amx_int8+amx_bf16),非 AMX CPU 上它并不会比 fp32 快; - DiT 双精度档:
dit_medium_int8(默认,全整数融合 kernel)和dit_medium_bf16(近无损,PSNR 约 59/54 dB,延迟约为 int8 的 1.24 倍); - 量化上有个反直觉发现:DiT 坚持用最朴素的 naive-int8——GPTQ/SmoothQuant 这类校准方法反而让精度下降;而解码器受益于 SmoothQuant→GPTQ,SAME-S int8 比朴素量化高 1.2 dB。
单路 AMX Xeon 实测:T5Gemma 编码 256 token 仅 28 ms(约千倍于实时);SAME-L 解码 20 秒音频 int8 只要 618 ms(32 倍实时);端到端一条 3 秒音频约 6 秒生成。适合没有 GPU、但有机房级 Intel CPU 的场景。
七、后端五:ONNX —— 自建后端的"中间格式" 📦
onnx/ 存的是未编译的 ONNX 计算图,覆盖全部组件:三个 DiT(fp32 / fp16 / fp8 / bf16 档,见 onnx/sa3-m/dit_fp16.onnx)、SAME-S/L 编解码器(含 limiter 变体)以及 onnx/t5gemma/encoder.onnx。
它本身不直接推理,而是给两种人用:
- GPU 不在预编译列表里(不是 sm_90 / sm_120):从 ONNX 出发用 TensorRT 自己 build,约 5–8 分钟;
- 想接入其他推理引擎:OpenVINO、CoreML、 ExecuTorch 等都能消费 ONNX 图,把它当作 Stable Audio 3 的通用交换格式。
八、后端怎么选?一张表决策
| 你的硬件 | 首选后端 | 说明 |
|---|---|---|
| H100 / H200 | tensorRT/sm_90/ |
官方基准机,2 秒级出长音频,还能挂运行时 LoRA |
| RTX 5090 / PRO 6000 | tensorRT/sm_120/ |
Blackwell 引擎,注意 2026-07-31 后发布的 SAME-L AOT 版本 |
| 其他 NVIDIA GPU | 从 onnx/ 自建 TRT 引擎 | 引擎不跨架构,本地编译几分钟 |
| Mac(M 系列芯片) | MLX/ | 原生加速;求稳可退回 TFLite |
| 笔记本 / 普通台式机 CPU | tflite/ | 全平台,内存平稳,small 模型超实时 |
| Intel AMX Xeon 服务器 | cpu-amx/ | 纯 C++、解码 32 倍实时 |
| 想魔改/接新引擎 | onnx/ | 通用中间格式 |
九、快速上手:三步跑起本地生成
git clone https://gitcode.com/hf_mirrors/stabilityai/stable-audio-3-optimized
cd stable-audio-3-optimized
- 选后端:按上表确定目录(如
tensorRT/或tflite/),各后端 README 里有对应的安装脚本,如 tflite/README.md 提供一行式 bootstrap,install.sh首次运行约 10 秒完成环境; - 下权重:各后端在首次使用时会从
stabilityai/stable-audio-3-optimized仓库惰性下载对应文件(T5Gemma 文本编码器只下载一次); - 出音频:以 stable-audio-3 库为例,生成 3 分钟音乐只需几行:
from stable_audio_3 import StableAudioModel
model = StableAudioModel.from_pretrained("medium")
audio = model.generate(prompt="lofi house, 120 BPM", duration=180)
十、小结
Stable Audio 3 Optimized 的价值在于一份模型、五种硬件形态全覆盖:NVIDIA 用户吃满 TensorRT 的 2 秒级长音频与运行时 LoRA,Mac 用户用 MLX 数秒出片,没有 GPU 的普通电脑靠 TFLite rung 阶梯把 40 GB 内存压到 2–4 GB,Intel 服务器则能享受 AMX 的纯 C++ 加速,而 ONNX 保证任何新引擎都有接入通道。对着"后端怎么选"那张表挑一个,本地几分钟长音频今天就跑起来。🎧

