rea-video声音拆解指南:BPM、调性、唱还是说,3种音频取证技巧全解析
rea-video声音拆解指南:BPM、调性、唱还是说,3种音频取证技巧全解析
rea-video 是一款开源的视频逆向拆解工具:给它任何一条短视频,它会逐镜头告诉你画面是实拍、AI 生成还是代码渲染,同时"听"出声音是怎么做出来的——BGM 是多少 BPM、什么调性、人声是唱还是说、剪辑是否卡点,并直接给出一份声音复刻方案。本文结合两个真实案例,带你完整看懂 rea-video 的 3 种音频取证技巧。🎧
先装好工具:一条命令剥离声音
rea-video 依赖 Python ≥ 3.10 和 ffmpeg。克隆仓库后安装即可:
git clone https://gitcode.com/gh_mirrors/re/rea-video
cd rea-video
bash scripts/install_skill.sh
做声音取证只需要 stems 子命令,它会把音轨拆成三条放在 stems/ 目录:
rea-video stems ref.mp4 -o out/ref
# 输出:stems/original.wav(原声混音)
# stems/vocals.wav(人声干声)
# stems/music.wav(配乐 + 环境声)
分离用的是 UVR MDX-Net 模型(ONNX 格式,CPU 即可运行,首次运行自动下载约 67 MB,速度约 0.6 倍实时)。拆完直接听 vocals.wav 和 music.wav,比听整条混音更容易判断:人声是唱还是说、是不是 TTS、配乐结尾有没有被硬切。
技巧一:快速读出 BGM 的 BPM
rea-video 测节拍的原理在 rea_video/audio.py 中:先用中值滤波做谐波/打击成分分离(HPSS),取出打击成分的起音包络,再做自相关找出周期性峰值,范围锁定在 60–190 BPM,结果会自动落到常见的 75–180 BPM 区间。
它有两个很实用的细节:
- 给出半速/倍速候选:拍子天然存在二义性,报告里会写"约 110.0 BPM(也可能是 55.0 / 219.9)",避免你在快慢节奏上纠结;
- 切点卡点检测:统计镜头切点落在节拍上的比例,再和随机概率对比。比例显著高于随机,就是典型的"卡点剪辑"。
看 3D 科普片"咸鸭蛋为什么会流油"的实测(docs/cases/salted_egg/report.md):
背景音乐占 97% 时长,约 110.0 BPM,调性 D major(置信 0.866);45% 的切点落在节拍上(随机约 25%)→ 判定为卡点剪辑。
官方在评测样本上验证过:实测 110.0,真值 110.15,BPM 这一项可靠度是"高"。
技巧二:调性检测——这首歌是大调还是小调
BPM 告诉你节奏,调性告诉你"颜色"。rea-video 的做法是标准的色度(chroma)+ Krumhansl 调性轮廓:把频谱折成 12 个半音的能量分布,再与大小调的 Krumhansl-Kessler 轮廓逐一求相关,取相关系数最高的音名和调式。
同样在咸鸭蛋案例中,结论是 D major、置信度 0.866,与真值一致;另外还会输出段落变化点(色度 + 响度的"新颖度"峰值),比如 4.0s, 8.5s, 13.0s…——这些时间点正是复刻时对齐镜头切换的锚点。
调性在复刻方案里不是摆设:按"BPM + 调性 + 情绪"去曲库检索同类曲,或用 Suno 这类 AI 音乐工具生成近似风格的免版权曲,就是报告给出的 music 轨复刻路线。
技巧三:唱还是说——演唱/说话的音频取证
这是 3 个技巧里最有意思的一个:一条视频里的人声,到底是唱歌、说唱还是说话?rea-video 用两个确定性信号判断(在分离出的 vocals.wav 上测,没有 BGM 干扰,基频追踪才干净):
- 持续音高占比(
sustained_note_ratio):唱歌会在一个音高上稳定停留 ≥160ms,而说话的音高是滑动下降的。占比 > 0.3 判为"唱"。实测 TTS 旁白只有 0.14–0.15,说唱 0.24; - 副歌重复(
chorus_repeat_share):4 秒的人声旋律片段在 6 秒之后再次出现,说明这是"歌"(包括说唱)。实测 AI 说唱 MV 为 0.26,TTS 旁白为 0.00; - 辅助信号:音节是否锁定在节拍网格上——唱/说唱的音节卡拍,旁白不卡。
三项输出 singing / rap_or_rhythmic / speech 三种风格,直接决定音乐来源的先验:
| 视频形式 | 判定依据 | 音乐来源先验 |
|---|---|---|
| AI 音乐 MV | 音乐铺满全片 + 人声是唱的 | AI 生成为主(如 Suno) |
| 旁白/口播 + 垫底 BGM | 人声是说话 | 现成曲库为主 |
看这个 AI 说唱 MV 案例(docs/cases/qing_mv/report.md):
整片 178.2 BPM、A minor,人声持续音高占比 0.24 → 判定为"唱的",整片是一首带人声的歌;结合形式先验,背景音乐被标记为 AI 生成(倾向,待确认),人声基频 142.8Hz 偏男声。
结果怎么看:报告里的声音拆解章节
跑完完整拆解(rea-video decompose ref.mp4 -o out/ref),在 out/ref/ 里你会得到:
report.html/report.md:声音拆解章节,含响度、人声占比、BPM、调性、段落变化点、卡点比例、音效清单;audio.png:声音时间轴图,人声条、音乐条、音效点和切镜线一一对齐,复核时非常直观;breakdown.json的audio(测量值)与audio_plan(复刻方案)。
来源判断(AI 生成还是现成素材)遵循"先验 + 证据修正":先看视频形式定先验,再用歌词是否紧扣本片内容、平台音乐标签、听歌识曲结果等证据修正;最高概率不足 45% 时会诚实输出"待确认"并给出确认方法。每个信号的可靠度评级和已知陷阱(比如 AI 工作流视频的 BGM 也常是 Suno 生成的),都写在 skills/rea-video/references/audio.md 里。
从测量到复刻:三条声音轨道
报告最后会把测量结果翻译成可执行的复刻清单:
- voice:TTS 或真人口播?用什么音色工具(Doubao / MiniMax 克隆),要不要卡原时间窗;
- music:按 BPM / 调性 / 情绪选曲或生成,在段落变化点对齐镜头;
- sfx:音效按时间点逐一摆放,有音高的音效对齐 BGM 调性。
命令细节和全部子命令可查 docs/cli.md。
一句话总结:rea-video 的声音拆解 = 先剥离人声干声,再用 BPM 自相关、Krumhansl 调性轮廓、持续音高/副歌重复三个确定性信号做取证,最后把测量值翻译成声音复刻方案。不用听感玄学,一条命令就能把 BGM 的底细全部摊开。🎵