如何为Retrieval-based-Voice-Conversion选择F0基频提取算法?pm、harvest、crepe、rmvpe四法横评
如何为Retrieval-based-Voice-Conversion选择F0基频提取算法?pm、harvest、crepe、rmvpe四法横评
在 Retrieval-based-Voice-Conversion(RVC)中做变声时,F0 基频提取算法直接决定变声后的音调是否自然、稳定。本文带你快速看懂 pm、harvest、crepe、rmvpe 四种 F0 算法的区别、速度、精度与适用场景,并给出新手友好的选择建议,帮你少走弯路,轻松调出自然又清晰的音色转换效果。
先搞懂:什么是 F0 基频提取?
F0(基频)就是语音中"音调高低"的数值。RVC 在变声时需要先听清你原声音高曲线,再把它映射到目标音色上:
- F0 提得准 → 音调自然、起伏还原好
- F0 提得歪 → 变声后出现破音、颤音、"机器味"或气息感
因此选对 F0 提取算法,是 RVC 调音中最关键的一步。项目默认使用 rmvpe,四种算法的分派逻辑都集中在 pipeline.py 的 get_f0 函数中。
一键切换 F0 算法:只需一个参数
RVC 通过 f0_method 参数指定算法,无需改代码。
CLI 方式(-fm 参数):
rvc infer -m model.pth -i input.wav -o output.wav -fm rmvpe
API 方式:在 inference.py 中,f0_method 可选值为 pm、harvest、dio、rmvpe、rmvpe_gpu。
💡 小贴士:CLI 里
-fm默认就是rmvpe(见 infer.py),不填参数时也走它。
四种 F0 算法逐个拆解
1. pm:最快的入门选择
- 原理:基于 Parselmouth(Praat 的 Python 封装)的音高追踪
- 源码:PMF0Predictor.py
- 优点:速度最快、纯 CPU 就能跑、几乎不吃显存
- 缺点:对快速音高变化和高音区容易出现"八度漂移",气息感相对明显
- 适合:低配电脑快速出片、日常哼唱类内容、先跑通流程再说
2. harvest:精度更高,代价是速度
- 原理:基于 pyworld 的 HARP 算法,经典的高精度 F0 估计器
- 源码:HarvestF0Predictor.py
- 优点:精度比 pm 高,对颤音和复杂发声还原更好
- 缺点:计算量大,是 pm 的好几倍耗时,CPU 上尤为明显
- 小技巧:配合
-fr(filter_radius)参数做中值滤波,README 里说明它"能减少气息感",默认值 3
3. crepe:深度学习方案,复杂唱腔的救星
- 原理:基于深度学习(torchcrepe full 模型)的基频估计,能捕捉传统算法难以处理的复杂发音
- 实现位置:pipeline.py
- 优点:对气声、假声、快速滑音等复杂音色表现稳定,抗噪能力较好
- 缺点:速度最慢、显存占用高(代码中批量大小设为 512 就是为了避免爆显存)
- 适合:追求极致音质的精修场景、有独唱高音/气声的素材
4. rmvpe:默认选项,速度与精度的最佳平衡
- 原理:轻量级神经网络 F0 模型(.pt / .onnx 两种权重),支持 GPU 与 CPU 推理
- 源码:rmvpe.py、推理调用见 pipeline.py
- 优点:速度快、精度高、显存友好,综合表现最好
- 前提:需要模型文件
rmvpe.pt,可通过 assets-download.sh 下载到assets/rmvpe/目录,并在.env中配置rmvpe_root - 适合:绝大多数场景的默认选择
四法横评:一张表看懂怎么选
| 算法 | 精度 | 速度 | 硬件要求 | 典型场景 |
|---|---|---|---|---|
pm |
★★★ | ★★★★★ | 纯 CPU 即可 | 快速测试、低配电脑 |
harvest |
★★★★ | ★★★ | CPU/GPU | 追求更稳的音高曲线 |
crepe |
★★★★ | ★★ | GPU + 显存 | 精修、气声/高音多的素材 |
rmvpe |
★★★★★ | ★★★★ | 低显存/纯 CPU 也可 | 日常默认,综合最优 |
⚡ 注意:README 中还列出了
dio(见 DioF0Predictor.py),它是 harvest 的快速简化版,速度接近 pm、精度居中,可在 API 中选用。
新手选算法的黄金法则
- 第一次跑 RVC:直接用默认的
rmvpe,不折腾即可获得接近最佳的体验 - 电脑配置低 / 只想要快:换
-fm pm,牺牲少量精度换速度 - 有独唱、气声、高音多的素材:试试
crepe,复杂唱腔更稳 - 想要更平滑的曲线:
harvest+-fr 3(中值滤波),减少气息感 - 对结果仍不满意:RVC 支持用
-ff指定外部 F0 曲线文件(每行一个音高值),手动修正后替换自动提取结果
写在最后
选择 F0 算法没有绝对标准答案,核心思路是:先默认 rmvpe,不满意再横向对比。建议用同一段音频分别跑一遍 pm 和 rmvpe 听感对比,几分钟就能找到适合自己素材和硬件的组合。选对 F0 提取算法,你的 RVC 变声效果就成功了一大半 🎤
登录后查看全文