ACE-Step 1.5 Oobleck VAE深度解析:48kHz立体声音质背后的Stable Audio架构改造
ACE-Step 1.5 Oobleck VAE深度解析:48kHz立体声音质背后的Stable Audio架构改造
ACE-Step 1.5 是 ACE Studio 与 StepFun 推出的 AI 音乐生成框架,能从「提示词 + 歌词」直接生成 48kHz 立体声歌曲;其音质保真度很大程度上取决于 Oobleck VAE 对 Stable Audio 架构的改造。ACE-Step-1.5-planner-0.6B-bf16 正是该框架面向 Apple Silicon(MLX)的 0.6B 轻量规划器模型包(bf16 精度),本文将结合仓库文件,讲清楚 Oobleck VAE 的架构来历、5Hz 音频码的生成流程,以及在 Mac 上跑起来的正确姿势。
📦 仓库速览:这个模型包里有什么
需要说明的是:ACE-Step 1.5 的 MLX 移植版每次推理会加载四件套——turbo DiT、规划器(planner)、文本编码器、VAE,本仓库就是其中的规划器(lite 0.6B 档)。它是一个基于 Qwen3-0.6B 微调的 5Hz 语言模型,与 1.7B 规划器共享同一套 217 204 词表、同一个「两段式」计划(先推理块,再输出音频码),共 310 个张量,与上游检查点逐位相等。
| 文件 | 作用 |
|---|---|
| model.safetensors | 310 个张量的模型权重(MLX 布局,bf16) |
| config.json | Qwen3 结构配置:28 层、hidden_size 1024、词表 217 204,并带 mlx_ace_step 元数据 |
| tokenizer.json、vocab.json、merges.txt | 分词器与词表 |
| chat_template.jinja | 对话模板 |
| added_tokens.json、special_tokens_map.json | 新增 / 特殊 token 映射 |
| README.md、NOTICE、LICENSE | 使用说明、权重出处、MIT 许可证 |
🔬 Oobleck VAE:Stable Audio 架构的 48kHz 改造
仓库的 NOTICE 文件脚注 2 是对 Oobleck VAE 最权威的一段描述:
- 上游权重名为
ace-step-v1.5-1d-vae-stable-audio-format,许可证为 MIT; - 架构上是 Stable Audio Open 的 VAE「改频」到 48 kHz(retargeted to 48 kHz);
- 是否由 Stability 的社区授权权重初始化,官方未在任何地方说明——ACE-Step 声明 MIT 并随仓库发布。
拆开名字看就很直白:1d-vae 表示以时间轴一维潜空间压缩音频的 VAE,stable-audio-format 表示沿用了 Stable Audio 家族的潜空间格式,而 48 kHz 则是面向商用音频的采样率(影视与专业音频的行业标准)。
VAE 在整条链路中扮演「解码器」角色:规划器输出的音频码经 DiT 处理后,最终由 Oobleck VAE 还原为 48 kHz 立体声波形。也就是说,采样率上限与频谱保真度由 VAE 决定——把它从 Stable Audio 原版的低采样率目标改造到 48 kHz,是 ACE-Step 1.5 能达到接近商用听感的关键一步。
🎵 5Hz 音频码与两阶段生成流程
规划器名字里的 5Hz 指音频码的帧率:每秒仅 5 帧,语言模型负责「规划」,波形细节交给 DiT + VAE 补齐。其生成过程分两段:
- 推理块(reasoning block):理解 caption 与歌词结构,规划曲式与风格;
- 音频码输出:以 217 204 词表逐 token 生成 5Hz 音频编码。
这套「LM 规划 + 扩散解码」的分工,让 0.6B 的小模型也能驱动整首歌的生成,而不是被迫用更大的模型硬算波形。
🍎 在 Apple Silicon 上跑起来:四件套加载与档位选择
MLX Swift 移植版通过 ACEStepConfiguration 指定规划器档位,四件套由引擎自动物化下载。规划器档位对照表:
| 规划器仓库 | 量化档位 | 适用场景 |
|---|---|---|
ACE-Step-1.5-planner-1.7B-8bit |
.int8 |
默认档位 |
ACE-Step-1.5-planner-1.7B-4bit |
.int4 |
内存更紧张的主机 |
ACE-Step-1.5-planner-1.7B-bf16 |
.bf16 / .fp32 |
精度优先 |
ACE-Step-1.5-planner-0.6B-bf16(本仓库) |
.bf16 |
任意量化档可用的轻量 lite 档,面向 24 GB Mac |
官方 12 首歌曲的评测门(gate)上,本 0.6B 轻量档 PER 为 0.179,落在 1.7B 规划器 0.108–0.197 的抽样区间之内——小一档的模型,差距并不明显。
音乐能力方面,引擎在 music 能力下支持:caption + 歌词生成 48 kHz 立体声歌曲、参考音频音色迁移、源片段的 cover / repaint / extend,以及 LRC 时间戳。核心调用只有三行(引自 README.md):
let engine = MLXServeEngine()
let id = try await engine.register(ACEStepPackage.registration, configuration: ACEStepConfiguration(planner: .lite0_6B))
let song = try await engine.run(MusicRequest(caption: "…", lyrics: "[Verse]\n…", durationSeconds: 120, seed: 7), package: id)
如需先本地查看本模型包文件,可以克隆仓库:
git clone https://gitcode.com/hf_mirrors/mlx-community/ACE-Step-1.5-planner-0.6B-bf16
⚖️ 许可证与权重出处
- 模型与代码均为 MIT:本包 LICENSE 即 MIT 全文,完整出处见 NOTICE;
- 底座 Qwen3 为 Apache-2.0,微调权重归 ACE-Step;
- 本包仅做布局转换(键前缀 / conv 布局 / weight-norm 折叠),转换器针对上游的
dit_convert.py/vae_convert.py做了逐位相等(bit-equal)校验,测量记录见移植包的MEASUREMENTS.md §V1。
✅ 小结
- Oobleck VAE = Stable Audio Open 的 1D VAE 改造到 48 kHz 采样率,是 ACE-Step 1.5 音质的解码端基石;
- 本仓库是 ACE-Step 1.5 四件套之一的 0.6B 轻量规划器(MLX / bf16),以 5Hz 音频码 + 两阶段规划驱动整首歌的生成;
- 面向 24 GB 内存的 Apple Silicon,它是官方支持的 lite 档位,音质指标与 1.7B 规划器同区间,是 Mac 上体验 48kHz 立体声 AI 音乐生成的轻量入口。