Xinference项目离线环境下SenseVoiceSmall模型启动问题解析

问题背景

在Xinference项目中，用户尝试在无网络环境下启动已缓存的SenseVoiceSmall语音模型时遇到了"fsmn-vad is not registered"的错误。这个问题主要出现在纯CPU环境的CentOS 7.9系统中，使用Docker容器部署Xinference 1.0.1版本时。

问题分析

SenseVoiceSmall模型在启动过程中会依赖一个名为fsmn-vad的语音活动检测(VAD)模型。即使在模型已经缓存的情况下，系统仍然会尝试从ModelScope平台获取该模型的相关信息，导致在没有网络连接时启动失败。

错误日志显示，系统首先尝试连接ModelScope API获取模型信息，在多次重试失败后抛出"fsmn-vad is not registered"异常。这表明虽然主模型已缓存，但VAD组件的加载逻辑仍然依赖网络连接。

解决方案

临时解决方案

对于需要立即解决问题的用户，可以修改Xinference的源代码文件：

1. 定位到容器中的/opt/conda/lib/python3.11/site-packages/xinference/model/audio/funasr.py文件
2. 在load()方法中添加代码，将VAD模型路径显式指向本地缓存位置

if kwargs.get("vad_model")=="fsmn-vad":
    kwargs["vad_model"]="/root/.cache/modelscope/hub/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch"

推荐解决方案

更优雅的解决方案是通过配置参数指定本地VAD模型路径，无需修改源代码：

1. 首先确定本地VAD模型的缓存路径，通常位于：

   • ~/.cache/modelscope/hub/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch
   • 或~/.cache/huggingface/hub/models--funasr--fsmn-vad/snapshots/目录下

2. 启动模型时添加VAD模型路径参数：

xinference launch --model-name SenseVoiceSmall \
                 --model-engine cpu \
                 --model-type audio \
                 --vad-model /path/to/local/vad/model

注意事项

1. 版本兼容性：部分用户反馈修改后可能出现"torchaudio has no attribute 'lib'"错误，这通常与torchaudio版本或CUDA环境有关。在纯CPU环境下，建议使用对应的CPU版本torchaudio。

2. 路径准确性：确保指定的本地VAD模型路径确实包含完整的模型文件，包括配置文件、权重文件等。

3. 权限问题：在Docker环境中运行时，注意容器内用户对模型缓存目录的访问权限。

技术原理

SenseVoiceSmall模型采用了模块化设计，将语音识别流程分解为多个组件，其中VAD组件负责检测语音活动区域。这种设计虽然提高了灵活性，但也带来了组件依赖管理的问题。在离线环境下，需要确保所有依赖组件都能从本地加载。

Xinference项目团队已经注意到这个问题，并在后续版本中优化了离线支持，用户只需正确配置本地模型路径即可实现完全离线运行。

总结

在离线环境中使用Xinference部署SenseVoiceSmall语音模型时，关键在于确保所有依赖组件都能从本地加载。通过显式指定VAD模型的本地路径，可以绕过网络连接需求，实现模型的顺利启动。这一解决方案不仅适用于当前问题，也为其他可能出现的类似组件依赖问题提供了解决思路。