如何为Retrieval-based-Voice-Conversion选择F0基频提取算法?pm、harvest、crepe、rmvpe四法横评

原创2026-11-14 22:09:241,435 阅读

如何为Retrieval-based-Voice-Conversion选择F0基频提取算法?pm、harvest、crepe、rmvpe四法横评

在 Retrieval-based-Voice-Conversion(RVC)中做变声时,F0 基频提取算法直接决定变声后的音调是否自然、稳定。本文带你快速看懂 pm、harvest、crepe、rmvpe 四种 F0 算法的区别、速度、精度与适用场景,并给出新手友好的选择建议,帮你少走弯路,轻松调出自然又清晰的音色转换效果。

先搞懂:什么是 F0 基频提取?

F0(基频)就是语音中"音调高低"的数值。RVC 在变声时需要先听清你原声音高曲线,再把它映射到目标音色上:

  • F0 提得准 → 音调自然、起伏还原好
  • F0 提得歪 → 变声后出现破音、颤音、"机器味"或气息感

因此选对 F0 提取算法,是 RVC 调音中最关键的一步。项目默认使用 rmvpe,四种算法的分派逻辑都集中在 pipeline.py 的 get_f0 函数中。

一键切换 F0 算法:只需一个参数

RVC 通过 f0_method 参数指定算法,无需改代码。

CLI 方式(-fm 参数):

rvc infer -m model.pth -i input.wav -o output.wav -fm rmvpe

API 方式:在 inference.py 中,f0_method 可选值为 pm、harvest、dio、rmvpe、rmvpe_gpu。

💡 小贴士:CLI 里 -fm 默认就是 rmvpe(见 infer.py),不填参数时也走它。

四种 F0 算法逐个拆解

1. pm:最快的入门选择

  • 原理:基于 Parselmouth(Praat 的 Python 封装)的音高追踪
  • 源码:PMF0Predictor.py
  • 优点:速度最快、纯 CPU 就能跑、几乎不吃显存
  • 缺点:对快速音高变化和高音区容易出现"八度漂移",气息感相对明显
  • 适合:低配电脑快速出片、日常哼唱类内容、先跑通流程再说

2. harvest:精度更高,代价是速度

  • 原理:基于 pyworld 的 HARP 算法,经典的高精度 F0 估计器
  • 源码:HarvestF0Predictor.py
  • 优点:精度比 pm 高,对颤音和复杂发声还原更好
  • 缺点:计算量大,是 pm 的好几倍耗时,CPU 上尤为明显
  • 小技巧:配合 -fr(filter_radius)参数做中值滤波,README 里说明它"能减少气息感",默认值 3

3. crepe:深度学习方案,复杂唱腔的救星

  • 原理:基于深度学习(torchcrepe full 模型)的基频估计,能捕捉传统算法难以处理的复杂发音
  • 实现位置:pipeline.py
  • 优点:对气声、假声、快速滑音等复杂音色表现稳定,抗噪能力较好
  • 缺点:速度最慢、显存占用高(代码中批量大小设为 512 就是为了避免爆显存)
  • 适合:追求极致音质的精修场景、有独唱高音/气声的素材

4. rmvpe:默认选项,速度与精度的最佳平衡

  • 原理:轻量级神经网络 F0 模型(.pt / .onnx 两种权重),支持 GPU 与 CPU 推理
  • 源码:rmvpe.py、推理调用见 pipeline.py
  • 优点:速度快、精度高、显存友好,综合表现最好
  • 前提:需要模型文件 rmvpe.pt,可通过 assets-download.sh 下载到 assets/rmvpe/ 目录,并在 .env 中配置 rmvpe_root
  • 适合:绝大多数场景的默认选择

四法横评:一张表看懂怎么选

算法 精度 速度 硬件要求 典型场景
pm ★★★ ★★★★★ 纯 CPU 即可 快速测试、低配电脑
harvest ★★★★ ★★★ CPU/GPU 追求更稳的音高曲线
crepe ★★★★ ★★ GPU + 显存 精修、气声/高音多的素材
rmvpe ★★★★★ ★★★★ 低显存/纯 CPU 也可 日常默认,综合最优

⚡ 注意:README 中还列出了 dio(见 DioF0Predictor.py),它是 harvest 的快速简化版,速度接近 pm、精度居中,可在 API 中选用。

新手选算法的黄金法则

  1. 第一次跑 RVC:直接用默认的 rmvpe,不折腾即可获得接近最佳的体验
  2. 电脑配置低 / 只想要快:换 -fm pm,牺牲少量精度换速度
  3. 有独唱、气声、高音多的素材:试试 crepe,复杂唱腔更稳
  4. 想要更平滑的曲线:harvest + -fr 3(中值滤波),减少气息感
  5. 对结果仍不满意:RVC 支持用 -ff 指定外部 F0 曲线文件(每行一个音高值),手动修正后替换自动提取结果

写在最后

选择 F0 算法没有绝对标准答案,核心思路是:先默认 rmvpe,不满意再横向对比。建议用同一段音频分别跑一遍 pm 和 rmvpe 听感对比,几分钟就能找到适合自己素材和硬件的组合。选对 F0 提取算法,你的 RVC 变声效果就成功了一大半 🎤

登录后查看全文
Retrieval-based-Voice-Conversion