FunAudioLLM/SenseVoice项目语音识别问题分析与解决方案

问题背景

在使用FunAudioLLM/SenseVoice项目进行语音识别时，开发者遇到了识别结果不准确的问题。该问题表现为模型输出的文本与预期不符，且每次运行结果不一致。项目环境为Windows 10专业版，使用Python 3.11.7和CUDA 12.5.40，GPU为Graphics 630。

问题现象

开发者按照项目文档进行测试时，发现语音识别结果出现异常。测试代码使用了SenseVoiceSmall模型，但输出的文本包含大量无意义字符和混合语言标记，如"mination缥1001.0000"、"蒟1 작성된11.0..致.."等不符合预期的结果。

问题排查过程

1. 设备配置尝试：首先尝试了在CPU和GPU不同设备上运行，但问题依旧存在。

2. 模型加载方式：检查了trust_remote_code参数设置，尝试了True和False两种配置，但未能解决问题。

3. 依赖库版本：注意到系统提示需要安装rotary_embedding_torch库，安装后问题依然存在。

4. 警告信息分析：系统输出中包含了几个关键警告：

   • 关于torch.load的weights_only参数安全警告
   • 关于torch.cuda.amp.autocast的弃用警告
   • 缺少ffmpeg的提示

根本原因

经过深入分析，确定问题的主要原因是PyTorch版本过高。开发者最初使用的是PyTorch 2.4.0版本，而FunAudioLLM/SenseVoice项目对PyTorch版本有特定要求，最佳兼容版本应为2.3.x或更低。

解决方案

1. 降低PyTorch版本：将PyTorch降级到2.3.1版本

   pip install torch==2.3.1 torchaudio==2.3.1
   

2. 重新安装依赖：在降级PyTorch后，需要重新安装torchaudio和funasr等依赖库，确保版本兼容性。

3. 其他建议配置：

   • 安装ffmpeg以提高音频处理能力
   • 确保所有依赖库版本匹配
   • 在模型加载时设置weights_only=True以增强安全性

经验总结

1. 版本兼容性至关重要：深度学习项目对框架版本通常有严格要求，版本不匹配可能导致各种难以排查的问题。

2. 警告信息不容忽视：开发过程中出现的警告信息往往预示着潜在问题，应给予足够重视。

3. 环境隔离建议：使用conda或venv创建独立的Python环境，可以避免版本冲突问题。

4. 逐步排查法：遇到问题时，应从简单配置开始测试，逐步增加复杂度，有助于快速定位问题根源。

通过这次问题解决过程，我们认识到在AI项目开发中，环境配置和版本管理是确保项目正常运行的基础。开发者应仔细阅读项目文档中的环境要求，并在遇到问题时优先考虑版本兼容性问题。