用代码写出海盗号子:claude-animation-skills 音效合成与 loudnorm 响度标准化原理(无需素材库)

原创2026-11-13 15:13:141,725 阅读

用代码写出海盗号子:claude-animation-skills 音效合成与 loudnorm 响度标准化原理(无需素材库)

如果你不想找音效素材库、也不想买版权音乐,claude-animation-skills 这个项目会给你答案:它的 /stick-figure 动画引擎只用一个 audio.py(约 240 行 Python),就"算"出了整支 37 秒海盗解说短片里的全部音效、海盗号子背景音乐,再用 ffmpeg 的 loudnorm 滤镜把响度标准化到平台友好值。本文带你读懂这套"纯代码造声音"的完整原理。

claude-animation-skills 六大动画技能一览:3D 卡通解说、火柴人、极简线条、地图路线、拆解视图、折线图

上图中从左数第二张,就是 /stick-figure 技能生成的"海盗眼罩"火柴人短片——本文主角。它的声音,一行采样素材都没用到。

为什么用代码"算"音效?

传统流程是:翻素材库 → 下载 wav → 对时间轴 → 处理电平。这套流程的问题很直接:

  • 素材有限制——热门音效有版权,冷门音效找不到;
  • 电平参差不齐——素材 A 响、素材 B 轻,混在一起全靠人耳微调;
  • 改主意代价高——换个节奏,素材往往要重新找。

而"用代码合成"的思路是:每个音效就是一个数学函数。需要"挥击风"就写个 whoosh(),需要"船板闷响"就写个 thud()。所有声音本地生成、零 API 密钥、零素材版权,改参数就是改风格。这也是本项目 SKILL.md 里对音频的定位:

audio.py: music and SFX, all synthesised in code and placed in voiceover seconds. (音乐与音效全部由代码合成,并按旁白的秒数摆放。)

一条命令走完的声音流水线

整个声音工程由 make.sh 串起来,共四步:

步骤 命令 产出
① 配音 tts_kokoro.py audio/vo.wav(本地 Kokoro 免费语音,无需 API key)
② 逐字对齐 align.py audio/words_new.json(每个词的开始秒数)
③ 混音 audio.py audio/mix.wav(配乐 + 音效 + 旁白,全部混好)
④ 渲染合成 make.sh + ffmpeg <名字>.mp4(画面 + 标准化后的音轨)

stick-figure 引擎的海盗短片画面对位声音:甲板、眼罩与下方字幕带

关键在第 ③ 步:所有声音的"时间轴"就是旁白的秒数。align.py 先用 Parakeet 语音识别模型把配音逐字定位(如 picture@2.90 this@3.05),audio.py 再照着这些秒数把音效"钉"在画面上——所以重录一版旁白,画面和声音还能自动对齐(warp 机制),不需要重剪。

audio.py 三件套:T、env、place

翻 audio.py 前 30 行,你会发现整个文件建立在三块"基建"之上,理解了它们,后面 200 行都能读:

  1. T(n):把采样点数换算成时间数组。np.arange(n) / 44100,一行解决"第 i 个采样点对应第几秒";
  2. env(n, ...):包络生成器。np.minimum(1, t/a) * np.exp(-t*d) 的形式,前半段快速起音(attack),后半段指数衰减(decay)——绝大多数"打击感"都来自这个指数尾巴;
  3. place(buf, x, at, g):把一段声音 x 按秒数 at 叠加到总缓冲区 buf 上,g 是增益。它是整个文件的"时间轴胶水",后面 100 多行混音逻辑全是在反复调用它。

三个 Butterworth 滤波器(bp 带通 / lp 低通 / hp 高通)则负责"调色":同一段白噪声,250–1200 Hz 带通听起来像"呼呼",1500–6000 Hz 带通就变成"嗖"。

一个 whoosh 看懂"白噪声 + 双带通 + 包络"套路

以挥击风声为例(源码见 audio.py):

def whoosh(dur=.35, up=True):
    n = int(dur * SR); x = rng.standard_normal(n); t = T(n)
    lo, hi = bp(x, 250, 1200), bp(x, 1500, 6000)
    k = np.linspace(0, 1, n) if up else np.linspace(1, 0, n)
    e = np.sin(np.pi * np.clip(t / dur, 0, 1)) ** 1.5
    return (lo * (1 - k) + hi * k) * e * 1.6

拆开看:

  • rng.standard_normal(n):一段白噪声,什么声音的"原材料"都是它;
  • bp(x, 250, 1200) 与 bp(x, 1500, 6000):同一份噪声切出低频段和高频段;
  • k 从 0 扫到 1:低通成分淡出、高通成分淡入,听起来就是一声向上加速的风;
  • e = sin(π·t/dur)^1.5:整体包络,中间最响、两端收干净,避免"咔"的爆音。

文件里的其余 15 个音效——thud(闷响,正弦波频率 70 Hz 起、30 倍速下滑再指数衰减)、clang(金属撞击,5 个非整数倍频叠加 + 高频噪声"嘶"声)、pluck(拨弦,经典的 Karplus-Strong 算法,环形缓冲不断低通自己)、chime(风铃,基频 + 2.01 倍 + 3 倍泛音)、riser(渐强,频率 2 秒里翻 2.5 个八度)——全是同一套套路换参数。你甚至能按注释找到它们各自服务的画面:# D panic(恐慌段连打 18 下鼓点)、# F blink + heartbeat(眨眼两声 tick + 心跳)。

海盗号子:过程化配乐的写法

本片的配乐不是音频文件,而是 audio.py 里注释写明的一首过程化 sea-shanty(sea shanty,船工号子)风格小曲:D 小调、6/8 拍——6/8 拍天生就是"海盗摇"的律动。核心零件只有四个:

  • midi(m):MIDI 音高转频率,440 * 2 ** ((m - 69) / 12),标准公式;
  • 乐谱就是 Python 列表:mel = [62, 65, 69, ...] 是 24 个八分音符(正好 4 小节),chords = [(50,57,62,65), ...] 是四组和弦循环;
  • pluck():拨弦音色,给"拨奏"质感;
  • jig():编排器。它按八分音符时长 E8 = 60 / 132 / 2(BPM 132)逐拍推进:每小节头敲一下低音拨弦、垫一层 saw_pad 锯齿波和声、每两拍放一个旋律拨弦、第 1 和 4 拍垫一个 thud 当框鼓。
def jig(t0, t1, g=1.0, ...):
    t = t0; i = 0
    while t < t1:
        bar = (i // 6) % 4; ch = chords[bar]
        if i % 6 == 0: place(music, plk(ch[0] - 12, E8 * 6) * .7, t, g)  # 低音
        if i % 3 == 0: place(music, plk(mel[i % 24], E8 * 3) * .8, t, g)  # 旋律
        if drum and i % 6 == 0: place(music, thud(100, .12, .15), t, g)    # 框鼓
        t += E8; i += 1

改这首曲子的旋律,只需编辑 mel 那一行列表;换风格,改 chords 的四个和弦即可。注意文件后半段(第 150 行起)作者还留了一套"喜剧配乐"方案(playful/sneak/strings),按剧情段落分段摆放:开场甲板用轻快拨弦,"跳下去摸黑"段切到低音弦乐垫 + 心跳,"偷摸靠近"段用短促的簧片音踩点,结尾揭晓切回明亮的大调——音乐的段落切分,用的还是同一套 place() 按秒摆放的逻辑。

混音与 ducking:让旁白永远站在最前

混音部分(audio.py 第 217–236 行)做了四件事:

  1. 处理旁白:读入 vo.wav → 重采样到 44100 Hz → 90 Hz 高通滤掉低频浑浊 → 用 hilbert 变换算出信号包络,超过 0.15 幅度的部分按幂律压下来(柔和压缩)→ 峰值归一化到 0.9;
  2. 动态闪避(ducking):跟踪旁白能量,旁白一响,音乐增益乘以 duck = 1 - .55 * vtrack,最多压低 55%——这就是 SKILL.md 里"music is ducked under the voice"的落地代码;
  3. 混合:mixL = VO * 1.0 + music * .22 * duck + sfx * .7。旁白满增益,音乐只给 0.22,音效 0.7——比例本身就是"主角是谁"的答案;
  4. 收尾:0.5 秒淡出,整体峰值压到 0.89,写出 audio/mix.wav。

到这一步,声音已经"能听"了,但离"平台上听起来音量正常"还差一层——这就是 loudnorm 要解决的。

loudnorm 响度标准化:-14 LUFS 是怎么来的

为什么需要它

手机默认媒体音量、Instagram 静音刷信息流、不同录音设备的电平差异——如果只按"峰值不超过 1"来收声,你的片子可能在别人手机上听起来明显偏轻。响度标准化的目标:让片子的"平均感知响度"落在平台推荐值上。

make.sh 的最后一步

make.sh 第 54–57 行把无声视频 silent.mp4 和 mix.wav 合成时,挂了这条音频滤镜链:

-af "alimiter=limit=0.8:attack=2:release=60,loudnorm=I=-14:TP=-1.5:LRA=9" \
-c:a aac -b:a 192k -ar 48000 -shortest -movflags +faststart

逐个参数解读:

参数 含义 作用
alimiter=limit=0.8 硬限幅器,天花板 0.8 双保险:任何尖峰先被削在 0.8 以内
attack=2:release=60 攻击 2ms / 释放 60ms 快速压住瞬态,缓慢回弹,听感自然
loudnorm=I=-14 目标整合响度 -14 LUFS Instagram 官方推荐的竖屏内容响度目标
TP=-1.5 真峰限制 -1.5 dBTP 防止转 AAC 编码时出现数字削波
LRA=9 响度范围 9 LU 控制"忽大忽小"的幅度,保留一点动态又不失控

三个关键数字各管一件事:

  • I=-14(Loudness,LUFS):整片的"平均响度"。这是人耳感知的响度,不是波形峰值。-14 LUFS 是竖屏短视频的主流目标(Spotify 播客常用 -16 LUFS,-14 稍亮一档,更适合手机外放 + 环境噪音的场景);
  • TP=-1.5(True Peak):采样级峰值上限。AAC 这类有损编码会"抬峰"——PCM 里 -2 dBTP 的波形,编码后可能冒出 -1 dBTP,留 1.5 dB 余量正是防这个;
  • LRA=9(Loudness Range):响度波动范围。LRA 太小(如 3)声音"平得像广播剧",太大(如 20)则前后段落音量忽高忽低;9 LU 对"有配乐有旁白"的解说类内容是个平衡点。

另外两个细节值得抄走:-ar 48000 是移动端 AAC 的标准采样率;-movflags +faststart 把 MP4 的索引挪到文件头,让它在信息流里边下载边播放,不用等整个文件。

顺带一提,zach-d-films 技能 的最终合成也用了同样的思路(loudnorm=I=-14:TP=-1.5),可见这是本项目的统一响度标准。而 audio.py 末尾那个 out / pk * .89 只是粗略的峰值归一化——峰值归一化管"别削波",loudnorm 才管"听起来响度对不对",两者是互补关系,不是替代关系。

快速上手:跑通一遍

环境要求:macOS 或 Linux + ffmpeg + Node.js 18+ + Python 3.9+。

git clone https://gitcode.com/gh_mirrors/cl/claude-animation-skills.git ~/claude-animation-skills
cd ~/claude-animation-skills && ./install.sh --voice   # 额外下载约 1 GB 的免费语音模型,一次性

然后直接编译仓库自带的海盗示例(37 秒完整成片):

cp -r skills/stick-figure/engine/template ~/reels/pirate
bash skills/stick-figure/engine/make.sh ~/reels/pirate

跑完得到 ~/reels/pirate/pirate.mp4,就是本文拆解的那条片子和它那首代码写出来的号子。只想重混声音、不重渲染画面时,加 AUDIO_ONLY=1 即可,画面秒级复用。

常见疑问 FAQ

为什么目标是 -14 LUFS 而不是 -16? -14 是 Instagram 等竖屏平台推荐值,比播客的 -16 亮一档,在地铁、街头等噪音环境下更"顶得住"。

改 BGM 风格要动几行? 旋律改 mel 列表,和声改 chords,节奏改 BPM——都在 audio.py 的音乐段落,改完重跑 make.sh 即可,画面不受影响。

不想用默认语音怎么办? 把任意录音转成 audio/vo.wav(44100 Hz 单声道),或直接 make.sh ~/reels/pirate ~/my_take.mp3,整条对齐 + 混音流水线会自动接管。

小结

把这套方法论抽出来,其实只有四步:

  1. numpy 造波——白噪声、正弦、锯齿波,用数学函数"画"出每一个声音;
  2. scipy 滤波——带通/低通/高通给声音"调色",指数包络给它"打击感";
  3. 按旁白秒数摆放——place() + 逐字对齐时间戳,让音效、配乐、画面锁死在同一个时间轴上;
  4. ffmpeg loudnorm 定响度——I=-14:TP=-1.5:LRA=9,把感知响度、真峰、动态范围一次性标准化到平台友好值。

不需要素材库,不需要 DAW,不需要 API 密钥——一个 audio.py 加一条 ffmpeg 滤镜链,就是 claude-animation-skills 的"代码造声"全部答案。

登录后查看全文
claude-animation-skills