ACE-Step 1.5 Oobleck VAE深度解析:48kHz立体声音质背后的Stable Audio架构改造

原创2026-10-30 14:03:081,677 阅读
文章标签:人工智能大模型音乐生成媒体生成语音

ACE-Step 1.5 Oobleck VAE深度解析:48kHz立体声音质背后的Stable Audio架构改造

ACE-Step 1.5 是 ACE Studio 与 StepFun 推出的 AI 音乐生成框架,能从「提示词 + 歌词」直接生成 48kHz 立体声歌曲;其音质保真度很大程度上取决于 Oobleck VAE 对 Stable Audio 架构的改造。ACE-Step-1.5-planner-0.6B-bf16 正是该框架面向 Apple Silicon(MLX)的 0.6B 轻量规划器模型包(bf16 精度),本文将结合仓库文件,讲清楚 Oobleck VAE 的架构来历、5Hz 音频码的生成流程,以及在 Mac 上跑起来的正确姿势。

📦 仓库速览:这个模型包里有什么

需要说明的是:ACE-Step 1.5 的 MLX 移植版每次推理会加载四件套——turbo DiT、规划器(planner)、文本编码器、VAE,本仓库就是其中的规划器(lite 0.6B 档)。它是一个基于 Qwen3-0.6B 微调的 5Hz 语言模型,与 1.7B 规划器共享同一套 217 204 词表、同一个「两段式」计划(先推理块,再输出音频码),共 310 个张量,与上游检查点逐位相等。

文件 作用
model.safetensors 310 个张量的模型权重(MLX 布局,bf16)
config.json Qwen3 结构配置:28 层、hidden_size 1024、词表 217 204,并带 mlx_ace_step 元数据
tokenizer.json、vocab.json、merges.txt 分词器与词表
chat_template.jinja 对话模板
added_tokens.json、special_tokens_map.json 新增 / 特殊 token 映射
README.md、NOTICE、LICENSE 使用说明、权重出处、MIT 许可证

🔬 Oobleck VAE:Stable Audio 架构的 48kHz 改造

仓库的 NOTICE 文件脚注 2 是对 Oobleck VAE 最权威的一段描述:

  • 上游权重名为 ace-step-v1.5-1d-vae-stable-audio-format,许可证为 MIT;
  • 架构上是 Stable Audio Open 的 VAE「改频」到 48 kHz(retargeted to 48 kHz);
  • 是否由 Stability 的社区授权权重初始化,官方未在任何地方说明——ACE-Step 声明 MIT 并随仓库发布。

拆开名字看就很直白:1d-vae 表示以时间轴一维潜空间压缩音频的 VAE,stable-audio-format 表示沿用了 Stable Audio 家族的潜空间格式,而 48 kHz 则是面向商用音频的采样率(影视与专业音频的行业标准)。

VAE 在整条链路中扮演「解码器」角色:规划器输出的音频码经 DiT 处理后,最终由 Oobleck VAE 还原为 48 kHz 立体声波形。也就是说,采样率上限与频谱保真度由 VAE 决定——把它从 Stable Audio 原版的低采样率目标改造到 48 kHz,是 ACE-Step 1.5 能达到接近商用听感的关键一步。

🎵 5Hz 音频码与两阶段生成流程

规划器名字里的 5Hz 指音频码的帧率:每秒仅 5 帧,语言模型负责「规划」,波形细节交给 DiT + VAE 补齐。其生成过程分两段:

  1. 推理块(reasoning block):理解 caption 与歌词结构,规划曲式与风格;
  2. 音频码输出:以 217 204 词表逐 token 生成 5Hz 音频编码。

这套「LM 规划 + 扩散解码」的分工,让 0.6B 的小模型也能驱动整首歌的生成,而不是被迫用更大的模型硬算波形。

🍎 在 Apple Silicon 上跑起来:四件套加载与档位选择

MLX Swift 移植版通过 ACEStepConfiguration 指定规划器档位,四件套由引擎自动物化下载。规划器档位对照表:

规划器仓库 量化档位 适用场景
ACE-Step-1.5-planner-1.7B-8bit .int8 默认档位
ACE-Step-1.5-planner-1.7B-4bit .int4 内存更紧张的主机
ACE-Step-1.5-planner-1.7B-bf16 .bf16 / .fp32 精度优先
ACE-Step-1.5-planner-0.6B-bf16(本仓库) .bf16 任意量化档可用的轻量 lite 档,面向 24 GB Mac

官方 12 首歌曲的评测门(gate)上,本 0.6B 轻量档 PER 为 0.179,落在 1.7B 规划器 0.108–0.197 的抽样区间之内——小一档的模型,差距并不明显。

音乐能力方面,引擎在 music 能力下支持:caption + 歌词生成 48 kHz 立体声歌曲、参考音频音色迁移、源片段的 cover / repaint / extend,以及 LRC 时间戳。核心调用只有三行(引自 README.md):

let engine = MLXServeEngine()
let id = try await engine.register(ACEStepPackage.registration, configuration: ACEStepConfiguration(planner: .lite0_6B))
let song = try await engine.run(MusicRequest(caption: "…", lyrics: "[Verse]\n…", durationSeconds: 120, seed: 7), package: id)

如需先本地查看本模型包文件,可以克隆仓库:

git clone https://gitcode.com/hf_mirrors/mlx-community/ACE-Step-1.5-planner-0.6B-bf16

⚖️ 许可证与权重出处

  • 模型与代码均为 MIT:本包 LICENSE 即 MIT 全文,完整出处见 NOTICE;
  • 底座 Qwen3 为 Apache-2.0,微调权重归 ACE-Step;
  • 本包仅做布局转换(键前缀 / conv 布局 / weight-norm 折叠),转换器针对上游的 dit_convert.py / vae_convert.py 做了逐位相等(bit-equal)校验,测量记录见移植包的 MEASUREMENTS.md §V1。

✅ 小结

  • Oobleck VAE = Stable Audio Open 的 1D VAE 改造到 48 kHz 采样率,是 ACE-Step 1.5 音质的解码端基石;
  • 本仓库是 ACE-Step 1.5 四件套之一的 0.6B 轻量规划器(MLX / bf16),以 5Hz 音频码 + 两阶段规划驱动整首歌的生成;
  • 面向 24 GB 内存的 Apple Silicon,它是官方支持的 lite 档位,音质指标与 1.7B 规划器同区间,是 Mac 上体验 48kHz 立体声 AI 音乐生成的轻量入口。
登录后查看全文
ACE-Step-1.5-planner-0.6B-bf16