FunASR项目中无人声音频处理时的标点模型异常问题分析

问题背景

在语音识别系统中，处理无人声音频是一个常见的场景。FunASR作为一个开源的语音识别框架，提供了自动语音识别(ASR)、语音活动检测(VAD)和标点预测(PUNC)的完整流程。然而，在使用过程中发现，当处理完全无声或无人声的音频时，如果配置了标点预测模型，系统会出现运行时错误。

错误现象

当使用以下配置处理无人声音频时：

audio_model = AutoModel(
    model="paraformer-zh", model_revision="v2.0.4",
    vad_model="fsmn-vad", vad_model_revision="v2.0.4",
    punc_model="ct-punc-c", punc_model_revision="v2.0.4"
)
audio_model.generate(input=[audio], 
                    batch_size_s=200, 
                    is_final=True,
                    sentence_timestamp=True)

系统会抛出如下错误：

RuntimeError: Expected tensor for argument #1 'indices' to have one of the following scalar types: Long, Int; but got torch.cuda.DoubleTensor instead (while checking arguments for embedding)

问题根源分析

通过深入调试代码，发现问题出在auto_model.py文件的inference_with_vad方法中。具体逻辑如下：

1. 对于无人声音频，语音识别结果result["text"]会被设置为一个空格字符(" ")，其长度为1
2. 由于长度不为0，系统会进入标点预测分支
3. 标点预测模型在处理这个单空格输入时，产生了类型不匹配的错误

核心问题代码段：

if self.punc_model is not None:
    if not len(result["text"]):  # 检查文本长度是否为0
        if return_raw_text:
            result['raw_text'] = ''
    else:
        # 当text为单空格时也会进入此分支
        self.punc_kwargs.update(cfg)
        punc_res = self.inference(result["text"], model=self.punc_model, kwargs=self.punc_kwargs, **cfg)
        ...

技术解决方案

针对这个问题，可以考虑以下几种解决方案：

1. 严格空文本检查：不仅检查长度，还要检查内容是否仅为空白字符

   if not result["text"].strip():  # 使用strip()去除空白后检查
   

2. 预处理输入文本：在传入标点模型前，对文本进行规范化处理

   input_text = result["text"].strip()
   if input_text:  # 只有非空文本才进行标点预测
       punc_res = self.inference(input_text, ...)
   

3. 类型安全转换：确保传入标点模型的张量类型正确

   # 在标点模型内部进行类型转换
   indices = indices.long()  # 转换为Long类型
   

最佳实践建议

在实际应用中，处理无人声音频时建议：

1. 合理配置模型：如果应用场景中无人声音频较多，充分考虑各种边界条件，包括但不限于：空输入、纯空白字符输入、极短输入等特殊情况，确保系统的稳定性和可靠性。