ACE-Step 1.5 两阶段推理机制揭秘:从思维链到音频代码生成的完整流程
ACE-Step 1.5 两阶段推理机制揭秘:从思维链到音频代码生成的完整流程
🎵 ACE-Step 1.5 是 ACE Studio 与 StepFun 联合推出的开源音乐生成模型,能在本地把"文字描述 + 歌词"变成一首 48 kHz 立体声歌曲。本仓库 ACE-Step-1.5-planner-0.6B-bf16 正是它的核心组件之一——轻量级 planner(规划器):一个基于 Qwen3-0.6B 微调的语言模型,负责用两阶段推理(先思维链推理,再生成音频代码)为整首歌"打腹稿"。本文将带你完整读懂它的两阶段推理机制。
仓库里都装了什么?
这个仓库是一份可直接加载的模型包,没有代码,全部由配置文件 + 权重组成:
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重本体(310 个张量,bf16 精度) |
| config.json | 模型结构与训练超参数 |
| tokenizer.json | 分词器完整实现 |
| vocab.json / merges.txt | 词表(217,204 个 token)与 BPE 合并规则 |
| added_tokens.json / special_tokens_map.json | 新增的特殊 token(含全部音频代码 token) |
| chat_template.jinja | 对话模板,定义了 角色分隔格式 |
| LICENSE / NOTICE | MIT 许可证与来源声明 |
一句话定位:它由 ACE-Step/acestep-5Hz-lm-0.6B 转换而来,采用 mlx-lm 的 model.* 键名布局,权重与上游检查点位级一致(bit-equal)——没有裁剪,只是换了加载格式。
阶段一:思维链推理块(Reasoning Block)
为什么 ACE-Step 1.5 不直接"张嘴就唱",而是先想后做?因为一首歌涉及 BPM、段落结构、配器、演唱方式等大量隐含决策,直接吐音频码很容易风格漂移。
两阶段推理机制的第一阶段,就是让 planner 像一位音乐制作人一样先写一段**"推理块"**:分析风格、确定速度与结构、规划编曲与音色走向。这个设计直接继承了 Qwen3 的思维链(CoT)能力——在 chat_template.jinja 中可以清楚看到对 enable_thinking 开关的支持:开启时模型会先输出思考内容,再给出正式响应;关闭时则直接输出。
这段推理不是"自言自语",它会成为第二阶段的条件:先定下的方案约束着后面每一个音频 token 的生成,让整首歌从开头到结尾保持风格一致。
阶段二:音频代码生成(Audio Codes)
推理块结束后,planner 进入第二阶段:逐帧"翻译"出音频。
关键设计藏在词表里。标准 Qwen3-0.6B 的词汇量远小于此,而本模型的 config.json 显示词表被扩展到 217,204 个 token,多出来的部分几乎全部用于音频:
- special_tokens_map.json 中注册了 5,000 个
<|audio_code_N|>token(N 从 0 到 4,999),构成音频代码的码本; - 音频以 5 Hz 的采样率被量化成离散 token——即每秒音频对应 5 帧代码;
- 一首 120 秒的歌曲大约需要 6,000 个代码 token,对 LLM 来说是一段"长度可控"的输出。
这些代码 token 不直接变成声音。它们随后交给 turbo DiT(扩散 Transformer)和 VAE 解码,重建出 48 kHz 立体声波形。
💡 两阶段的本质分工:LLM 负责"想清楚"(推理 + 紧凑的语义级音频码),扩散模型负责"唱出来"(高质量波形重建)。规划与重建解耦,是 ACE-Step 1.5 兼顾可控性与音质的关键。
模型规格速览:config.json 里的关键参数
| 参数 | 值 | 说明 |
|---|---|---|
architectures |
Qwen3ForCausalLM | 标准的 Qwen3 因果语言模型 |
vocab_size |
217,204 | 比基座模型大幅扩容,容纳音频代码 token |
num_hidden_layers |
28 | 28 层 Transformer,全部 full attention |
hidden_size |
1024 | 隐层维度 |
num_attention_heads / num_key_value_heads |
16 / 8 | 采用 GQA,推理更快、显存更省 |
max_position_embeddings |
40,960 | 最长上下文,足以容纳整首歌的代码序列 |
tie_word_embeddings |
true | 输入输出嵌入层共享,小模型的标准省显存做法 |
dtype |
bfloat16 | 本仓库权重精度 |
tie_word_embeddings: true 值得留意:0.6B 级别的小模型把嵌入层权重共享,既省内存又对精度几乎无损。
轻量版 0.6B vs 默认 1.7B:怎么选?
ACE-Step 1.5 的 planner 有两个档位,本仓库是其中更轻量的一个:
| 维度 | 0.6B lite(本仓库) | 1.7B 默认版 |
|---|---|---|
| 内存门槛 | 约 24 GB 内存的 Mac 即可运行 | 更高 |
| 精度 | bf16 | int8 / int4 / bf16 多档可选 |
| 12 首评测曲 PER | 0.179 | 多次采样波动区间 0.108–0.197 |
从 README 给出的数据看,0.6B 版本的 PER 0.179 落在 1.7B 版本多次抽样的波动范围之内——质量差距很小,体积差距明显。如果你的 Mac 内存只有 24 GB,选 .lite0_6B 是性价比之选;追求极致稳定输出则换回 1.7B 默认档。
如何跑起来:planner 只是四件套之一
⚠️ 这个仓库不能单独生成音乐。完整的 ACE-Step 1.5 推理需要四个模型包协同工作:
- planner(本仓库):思维链推理 + 音频代码生成;
- turbo DiT:把音频代码解码成波形;
- text encoder:编码 caption / 歌词等文本条件;
- VAE:最终重构出 48 kHz 立体声音频。
想在 Apple Silicon 上跑完整流水线,可以克隆 Swift 移植包(xocialize/mlx-ace-step-swift)并指定 planner 档位:
let engine = MLXServeEngine()
let id = try await engine.register(ACEStepPackage.registration,
configuration: ACEStepConfiguration(planner: .lite0_6B))
try await engine.prepare(.music, package: id)
let song = try await engine.run(MusicRequest(caption: "…", lyrics: "[Verse]\n…",
durationSeconds: 120, seed: 7),
package: id)
传入 caption 与带段落标记(如 [Verse])的歌词,即可产出一首带参考音色、可翻唱/续写、支持 LRC 时间戳的歌曲。
常见问题速答(FAQ)
-
Q:planner 到底是什么角色? A:它是"大脑":先做思维链推理规划歌曲,再输出 5 Hz 采样率的离散音频代码;"嗓子"(DiT + VAE)负责把代码变成声音。
-
Q:为什么词表有 21 万多个 token? A:音频代码需要独立码本,special_tokens_map.json 中新增的 5,000 个
<|audio_code_N|>token 就是音频帧的"字母表"。 -
Q:24 GB 内存的 Mac 能跑吗? A:可以,这正是
.lite0_6B档的设计目标(约 24 GB Mac 档位)。 -
Q:bf16 权重是什么精度? A:bfloat16,与上游检查点位级一致,适合 Apple Silicon 的 MLX 运行时。
-
Q:我能改仓库里的权重吗? A:不建议。仓库为只读的模型包,所有转换与推理逻辑都在配套的 Swift 包中完成。
小结
ACE-Step 1.5 的两阶段推理机制可以浓缩为一句话:先让 0.6B 的 Qwen3 微调模型"想清楚"(思维链推理块),再让它"写下来"(5 Hz 音频代码序列),最后由 DiT 与 VAE "唱出来"。本仓库以 bf16 精度、位级一致的权重把这一流程带到 Apple Silicon 上,24 GB 内存的 Mac 也能本地生成完整歌曲。理解了这份 config.json 里的参数和两阶段的分工,你就掌握了整个音乐生成管线的"指挥棒"。🎧