HeartMuLa-oss-3B-8bit新手实战:风格标签、歌词段落与时长参数怎么填才能出好歌?
HeartMuLa-oss-3B-8bit新手实战:风格标签、歌词段落与时长参数怎么填才能出好歌?
HeartMuLa-oss-3B-8bit 是一个面向 Apple Silicon 的 AI 音乐生成模型(8-bit 量化版):输入逗号分隔的风格标签(caption)、带段落标记的歌词,就能生成带人声的完整歌曲,输出 48 kHz 立体声音频,最长 4 分钟。本文手把手讲清楚三个核心参数怎么填,让你第一次就能出好歌。
一、先认识:HeartMuLa-oss-3B-8bit 是什么 🎵
一句话概括:它是 HeartMuLa-oss-3B 语言模型的 8-bit 量化版,配合 mlx-heartmula-swift 引擎在 Apple Silicon 上运行。
- 定位:官方默认档位(default tier)——24 GB 内存的 Mac 即可运行,在 M5 Max 上约 3 倍实时速度出歌
- 音质:48 kHz 立体声,带人声,最长 4 分钟(240 秒)
- 结构:3B 全局语言模型 + 300M 本地解码器,217 个 Linear 层预量化为 8-bit,加载时不再二次量化,省内存也省时间
- 文件构成:
| 文件 | 作用 | 大小 |
|---|---|---|
| model.safetensors | 8-bit 量化权重(723 个张量) | 4.94 GB |
| tokenizer.json | Llama-3.2 BPE 词表 | 9.1 MB |
| config.json | 模型结构与量化配置 | 1.1 KB |
| gen_config.json | 生成用特殊 token 配置 | — |
二、出歌三要素:caption、lyrics、durationSeconds
调用时只需要填 4 个参数(以引擎的 MusicRequest 为例):
let song = try await engine.run(MusicRequest(
caption: "folk, acoustic guitar, female vocal", // 风格标签
lyrics: "[verse]\n...\n\n[chorus]\n...", // 带段落标记的歌词
durationSeconds: 120, // 时长上限(秒)
seed: 7 // 随机种子
), package: id)
下面逐个讲怎么填才出好歌。
三、风格标签(caption)怎么填 🏷️
1. 格式:英文、逗号分隔、2~4 个词
caption 是模型唯一的风格输入,被读作逗号分隔的标签。推荐结构为「曲风 + 乐器/氛围 + 人声」:
- ✅
folk, acoustic guitar, female vocal - ✅
lofi hip hop, mellow, jazzy piano - ❌ 中文标签(模型按英文标签训练,效果更稳)
- ❌ 一整段长句描述(信息过载,模型抓不住重点)
2. 两条重要的"实测真相"
官方在 12 首样曲上做了盲测,结论要提前知道:
- 风格标签的引导力偏弱。CLAP 风格检索中,模型自己生成的歌与自己标签的匹配度仅约 12 首中的 4.5 位,且调高 guidanceScale(CFG 3.0)也帮不上忙——标签是"倾向",不是"指令",别指望一次就完全到位。
- 人声性别容易"漂"到女声。6 个男声请求里只有 1 个出了男声。想要男声可以填 male vocal,但要有心理预期;想要稳定出女声反而容易。
💡 小技巧:多换几个 seed 再听,比死磕标签更有效。
四、歌词段落(lyrics)怎么写 📝
1. 用方括号段落标记组织歌曲
歌词不是纯文本,而是段落标签 + 换行的结构,典型写法:
[verse]
第一句歌词
第二句歌词
[chorus]
副歌第一句
副歌第二句
[verse]
第二段主歌...
[chorus]
副歌再来一遍
常用段落标签:[verse](主歌)、[chorus](副歌),也可以按歌曲需要加 [bridge](桥段)、[intro](前奏)、[outro](尾声)。段落之间空一行,模型会据此安排歌曲结构。
2. 歌词写多少,歌就唱多久
大多数歌曲会在歌词唱完后自然结束,durationSeconds 只是上限。所以控制歌长的第一手段其实是控制歌词长度,而不是改时长参数。
3. 英文歌词更稳,中文歌词偏弱
实测数据(Whisper 识别错误率 PER,越低越好):
| 歌词语言 | bf16 模型 | 8-bit 模型 | PyTorch 原版 |
|---|---|---|---|
| 英文 | 0.125 | 0.132 | 0.165 |
| 中文 | — | — | 0.457(丢过整段) |
新手建议先用英文歌词练手,追求"词对得上、唱得清";中文歌词目前不稳定,属于可尝试但要有预期的项目。
五、时长参数(durationSeconds)怎么设 ⏱️
1. 取值范围:1~240 秒,默认 120 秒
- 它是个上限(cap),不是目标时长——歌词唱完就结束
- 上限是 240 秒(4 分钟),超过无效
- 如果歌曲是被上限掐断的,返回值里
truncated会为 true,此时说明你的歌词"没唱完"
2. 8-bit 版本的特别注意 ⚠️
实测中,8-bit 模型撞到时长上限的概率是 bf16 版本的两倍(120 秒上限下 24 首里 10 首 vs 5 首)。表现是:歌词唱完后副歌开始反复循环,极端情况会单曲循环到 240 秒。
对号入座:
- 想要更短的成品:把
durationSeconds设小一点(如 90),并给歌词留一个干净的结尾段落 - 更怕循环、更在意自然结束:改用 bf16 版本 HeartMuLa-oss-3B-bf16(需要 32 GB 内存)
- 想要更长的歌:直接写更多歌词段落,而不是把上限调到 240
六、常见问题 FAQ ❓
Q1:guidanceScale / 参考音频 / 指定 BPM 能用吗? 不能。当前版本明确拒绝参考音频、歌曲编辑、规划、乐谱、BPM/调性锚点和指定演唱语言,guidanceScale 也被忽略。风格只认 caption 标签。
Q2:为什么每次出的歌不一样?
因为采样是随机的。固定 seed 才能复现同一首;换 seed 就是"再抽一次卡"。
Q3:为什么有的歌结尾突然断了?
撞到 durationSeconds 上限了。缩短歌词或调小上限,让它自然收束。
Q4:音质会不会爆音? 不会。原始解码输出可能超过满幅(峰值 1.37),引擎已统一做了 −1 dBFS 限幅,WAV 峰值不超过 −1 dBFS。
七、相关资料索引 📚
- 项目说明与实测数据:README.md
- 模型结构与量化配置:config.json
- 生成特殊 token 配置:gen_config.json
- 许可证(Apache-2.0)与授权链说明:LICENSE、NOTICE
总结一句:英文逗号分隔的风格标签定方向,方括号段落标签搭结构,歌词长度控歌长,durationSeconds 当保险丝——四个参数都填对了,你的第一首 AI 歌就能顺利出炉 🎧