用代码写出海盗号子:claude-animation-skills 音效合成与 loudnorm 响度标准化原理(无需素材库)
用代码写出海盗号子:claude-animation-skills 音效合成与 loudnorm 响度标准化原理(无需素材库)
如果你不想找音效素材库、也不想买版权音乐,claude-animation-skills 这个项目会给你答案:它的 /stick-figure 动画引擎只用一个 audio.py(约 240 行 Python),就"算"出了整支 37 秒海盗解说短片里的全部音效、海盗号子背景音乐,再用 ffmpeg 的 loudnorm 滤镜把响度标准化到平台友好值。本文带你读懂这套"纯代码造声音"的完整原理。
上图中从左数第二张,就是
/stick-figure技能生成的"海盗眼罩"火柴人短片——本文主角。它的声音,一行采样素材都没用到。
为什么用代码"算"音效?
传统流程是:翻素材库 → 下载 wav → 对时间轴 → 处理电平。这套流程的问题很直接:
- 素材有限制——热门音效有版权,冷门音效找不到;
- 电平参差不齐——素材 A 响、素材 B 轻,混在一起全靠人耳微调;
- 改主意代价高——换个节奏,素材往往要重新找。
而"用代码合成"的思路是:每个音效就是一个数学函数。需要"挥击风"就写个 whoosh(),需要"船板闷响"就写个 thud()。所有声音本地生成、零 API 密钥、零素材版权,改参数就是改风格。这也是本项目 SKILL.md 里对音频的定位:
audio.py: music and SFX, all synthesised in code and placed in voiceover seconds. (音乐与音效全部由代码合成,并按旁白的秒数摆放。)
一条命令走完的声音流水线
整个声音工程由 make.sh 串起来,共四步:
| 步骤 | 命令 | 产出 |
|---|---|---|
| ① 配音 | tts_kokoro.py | audio/vo.wav(本地 Kokoro 免费语音,无需 API key) |
| ② 逐字对齐 | align.py | audio/words_new.json(每个词的开始秒数) |
| ③ 混音 | audio.py | audio/mix.wav(配乐 + 音效 + 旁白,全部混好) |
| ④ 渲染合成 | make.sh + ffmpeg |
<名字>.mp4(画面 + 标准化后的音轨) |
关键在第 ③ 步:所有声音的"时间轴"就是旁白的秒数。align.py 先用 Parakeet 语音识别模型把配音逐字定位(如 picture@2.90 this@3.05),audio.py 再照着这些秒数把音效"钉"在画面上——所以重录一版旁白,画面和声音还能自动对齐(warp 机制),不需要重剪。
audio.py 三件套:T、env、place
翻 audio.py 前 30 行,你会发现整个文件建立在三块"基建"之上,理解了它们,后面 200 行都能读:
T(n):把采样点数换算成时间数组。np.arange(n) / 44100,一行解决"第 i 个采样点对应第几秒";env(n, ...):包络生成器。np.minimum(1, t/a) * np.exp(-t*d)的形式,前半段快速起音(attack),后半段指数衰减(decay)——绝大多数"打击感"都来自这个指数尾巴;place(buf, x, at, g):把一段声音x按秒数at叠加到总缓冲区buf上,g是增益。它是整个文件的"时间轴胶水",后面 100 多行混音逻辑全是在反复调用它。
三个 Butterworth 滤波器(bp 带通 / lp 低通 / hp 高通)则负责"调色":同一段白噪声,250–1200 Hz 带通听起来像"呼呼",1500–6000 Hz 带通就变成"嗖"。
一个 whoosh 看懂"白噪声 + 双带通 + 包络"套路
以挥击风声为例(源码见 audio.py):
def whoosh(dur=.35, up=True):
n = int(dur * SR); x = rng.standard_normal(n); t = T(n)
lo, hi = bp(x, 250, 1200), bp(x, 1500, 6000)
k = np.linspace(0, 1, n) if up else np.linspace(1, 0, n)
e = np.sin(np.pi * np.clip(t / dur, 0, 1)) ** 1.5
return (lo * (1 - k) + hi * k) * e * 1.6
拆开看:
rng.standard_normal(n):一段白噪声,什么声音的"原材料"都是它;bp(x, 250, 1200)与bp(x, 1500, 6000):同一份噪声切出低频段和高频段;k从 0 扫到 1:低通成分淡出、高通成分淡入,听起来就是一声向上加速的风;e = sin(π·t/dur)^1.5:整体包络,中间最响、两端收干净,避免"咔"的爆音。
文件里的其余 15 个音效——thud(闷响,正弦波频率 70 Hz 起、30 倍速下滑再指数衰减)、clang(金属撞击,5 个非整数倍频叠加 + 高频噪声"嘶"声)、pluck(拨弦,经典的 Karplus-Strong 算法,环形缓冲不断低通自己)、chime(风铃,基频 + 2.01 倍 + 3 倍泛音)、riser(渐强,频率 2 秒里翻 2.5 个八度)——全是同一套套路换参数。你甚至能按注释找到它们各自服务的画面:# D panic(恐慌段连打 18 下鼓点)、# F blink + heartbeat(眨眼两声 tick + 心跳)。
海盗号子:过程化配乐的写法
本片的配乐不是音频文件,而是 audio.py 里注释写明的一首过程化 sea-shanty(sea shanty,船工号子)风格小曲:D 小调、6/8 拍——6/8 拍天生就是"海盗摇"的律动。核心零件只有四个:
midi(m):MIDI 音高转频率,440 * 2 ** ((m - 69) / 12),标准公式;- 乐谱就是 Python 列表:
mel = [62, 65, 69, ...]是 24 个八分音符(正好 4 小节),chords = [(50,57,62,65), ...]是四组和弦循环; pluck():拨弦音色,给"拨奏"质感;jig():编排器。它按八分音符时长E8 = 60 / 132 / 2(BPM 132)逐拍推进:每小节头敲一下低音拨弦、垫一层saw_pad锯齿波和声、每两拍放一个旋律拨弦、第 1 和 4 拍垫一个thud当框鼓。
def jig(t0, t1, g=1.0, ...):
t = t0; i = 0
while t < t1:
bar = (i // 6) % 4; ch = chords[bar]
if i % 6 == 0: place(music, plk(ch[0] - 12, E8 * 6) * .7, t, g) # 低音
if i % 3 == 0: place(music, plk(mel[i % 24], E8 * 3) * .8, t, g) # 旋律
if drum and i % 6 == 0: place(music, thud(100, .12, .15), t, g) # 框鼓
t += E8; i += 1
改这首曲子的旋律,只需编辑 mel 那一行列表;换风格,改 chords 的四个和弦即可。注意文件后半段(第 150 行起)作者还留了一套"喜剧配乐"方案(playful/sneak/strings),按剧情段落分段摆放:开场甲板用轻快拨弦,"跳下去摸黑"段切到低音弦乐垫 + 心跳,"偷摸靠近"段用短促的簧片音踩点,结尾揭晓切回明亮的大调——音乐的段落切分,用的还是同一套 place() 按秒摆放的逻辑。
混音与 ducking:让旁白永远站在最前
混音部分(audio.py 第 217–236 行)做了四件事:
- 处理旁白:读入
vo.wav→ 重采样到 44100 Hz → 90 Hz 高通滤掉低频浑浊 → 用hilbert变换算出信号包络,超过 0.15 幅度的部分按幂律压下来(柔和压缩)→ 峰值归一化到 0.9; - 动态闪避(ducking):跟踪旁白能量,旁白一响,音乐增益乘以
duck = 1 - .55 * vtrack,最多压低 55%——这就是 SKILL.md 里"music is ducked under the voice"的落地代码; - 混合:
mixL = VO * 1.0 + music * .22 * duck + sfx * .7。旁白满增益,音乐只给 0.22,音效 0.7——比例本身就是"主角是谁"的答案; - 收尾:0.5 秒淡出,整体峰值压到 0.89,写出
audio/mix.wav。
到这一步,声音已经"能听"了,但离"平台上听起来音量正常"还差一层——这就是 loudnorm 要解决的。
loudnorm 响度标准化:-14 LUFS 是怎么来的
为什么需要它
手机默认媒体音量、Instagram 静音刷信息流、不同录音设备的电平差异——如果只按"峰值不超过 1"来收声,你的片子可能在别人手机上听起来明显偏轻。响度标准化的目标:让片子的"平均感知响度"落在平台推荐值上。
make.sh 的最后一步
make.sh 第 54–57 行把无声视频 silent.mp4 和 mix.wav 合成时,挂了这条音频滤镜链:
-af "alimiter=limit=0.8:attack=2:release=60,loudnorm=I=-14:TP=-1.5:LRA=9" \
-c:a aac -b:a 192k -ar 48000 -shortest -movflags +faststart
逐个参数解读:
| 参数 | 含义 | 作用 |
|---|---|---|
alimiter=limit=0.8 |
硬限幅器,天花板 0.8 | 双保险:任何尖峰先被削在 0.8 以内 |
attack=2:release=60 |
攻击 2ms / 释放 60ms | 快速压住瞬态,缓慢回弹,听感自然 |
loudnorm=I=-14 |
目标整合响度 -14 LUFS | Instagram 官方推荐的竖屏内容响度目标 |
TP=-1.5 |
真峰限制 -1.5 dBTP | 防止转 AAC 编码时出现数字削波 |
LRA=9 |
响度范围 9 LU | 控制"忽大忽小"的幅度,保留一点动态又不失控 |
三个关键数字各管一件事:
I=-14(Loudness,LUFS):整片的"平均响度"。这是人耳感知的响度,不是波形峰值。-14 LUFS 是竖屏短视频的主流目标(Spotify 播客常用 -16 LUFS,-14 稍亮一档,更适合手机外放 + 环境噪音的场景);TP=-1.5(True Peak):采样级峰值上限。AAC 这类有损编码会"抬峰"——PCM 里 -2 dBTP 的波形,编码后可能冒出 -1 dBTP,留 1.5 dB 余量正是防这个;LRA=9(Loudness Range):响度波动范围。LRA 太小(如 3)声音"平得像广播剧",太大(如 20)则前后段落音量忽高忽低;9 LU 对"有配乐有旁白"的解说类内容是个平衡点。
另外两个细节值得抄走:-ar 48000 是移动端 AAC 的标准采样率;-movflags +faststart 把 MP4 的索引挪到文件头,让它在信息流里边下载边播放,不用等整个文件。
顺带一提,zach-d-films 技能 的最终合成也用了同样的思路(loudnorm=I=-14:TP=-1.5),可见这是本项目的统一响度标准。而 audio.py 末尾那个 out / pk * .89 只是粗略的峰值归一化——峰值归一化管"别削波",loudnorm 才管"听起来响度对不对",两者是互补关系,不是替代关系。
快速上手:跑通一遍
环境要求:macOS 或 Linux + ffmpeg + Node.js 18+ + Python 3.9+。
git clone https://gitcode.com/gh_mirrors/cl/claude-animation-skills.git ~/claude-animation-skills
cd ~/claude-animation-skills && ./install.sh --voice # 额外下载约 1 GB 的免费语音模型,一次性
然后直接编译仓库自带的海盗示例(37 秒完整成片):
cp -r skills/stick-figure/engine/template ~/reels/pirate
bash skills/stick-figure/engine/make.sh ~/reels/pirate
跑完得到 ~/reels/pirate/pirate.mp4,就是本文拆解的那条片子和它那首代码写出来的号子。只想重混声音、不重渲染画面时,加 AUDIO_ONLY=1 即可,画面秒级复用。
常见疑问 FAQ
为什么目标是 -14 LUFS 而不是 -16? -14 是 Instagram 等竖屏平台推荐值,比播客的 -16 亮一档,在地铁、街头等噪音环境下更"顶得住"。
改 BGM 风格要动几行?
旋律改 mel 列表,和声改 chords,节奏改 BPM——都在 audio.py 的音乐段落,改完重跑 make.sh 即可,画面不受影响。
不想用默认语音怎么办?
把任意录音转成 audio/vo.wav(44100 Hz 单声道),或直接 make.sh ~/reels/pirate ~/my_take.mp3,整条对齐 + 混音流水线会自动接管。
小结
把这套方法论抽出来,其实只有四步:
- numpy 造波——白噪声、正弦、锯齿波,用数学函数"画"出每一个声音;
- scipy 滤波——带通/低通/高通给声音"调色",指数包络给它"打击感";
- 按旁白秒数摆放——
place()+ 逐字对齐时间戳,让音效、配乐、画面锁死在同一个时间轴上; - ffmpeg loudnorm 定响度——
I=-14:TP=-1.5:LRA=9,把感知响度、真峰、动态范围一次性标准化到平台友好值。
不需要素材库,不需要 DAW,不需要 API 密钥——一个 audio.py 加一条 ffmpeg 滤镜链,就是 claude-animation-skills 的"代码造声"全部答案。
