FunASR项目中无人声音频处理时的标点模型报错分析

问题背景

在语音识别系统FunASR中，当处理无人声音频时，如果配置了标点预测模型(punc_model)，系统会出现运行时错误。具体表现为当音频中没有检测到人声时，系统仍然尝试对标点模型进行推理，导致类型不匹配的异常。

错误现象

使用FunASR的AutoModel处理无人声音频时，系统抛出以下错误：

RuntimeError: Expected tensor for argument #1 'indices' to have one of the following scalar types: Long, Int; but got torch.cuda.DoubleTensor instead (while checking arguments for embedding)

技术分析

错误根源

1. 空文本处理逻辑不完善：当VAD(语音活动检测)未检测到人声时，系统生成一个包含单个空格的文本(" ")，其长度为1，而非空字符串。

2. 标点模型处理流程：当前代码逻辑中，只要文本长度不为0，就会进入标点预测分支。对于单个空格的文本，系统仍然会尝试进行标点预测，导致类型不匹配错误。

3. 张量类型问题：标点模型期望输入的张量类型为Long或Int，但实际接收到的是Double类型的张量。

现有代码逻辑

if self.punc_model is not None:
    if not len(result["text"]):  # 检查文本长度是否为0
        if return_raw_text:
            result['raw_text'] = ''
    else:
        self.punc_kwargs.update(cfg)
        punc_res = self.inference(result["text"], model=self.punc_model, kwargs=self.punc_kwargs, **cfg)
        raw_text = copy.copy(result["text"])
        if return_raw_text: result['raw_text'] = raw_text
        result["text"] = punc_res[0]["text"]
else:
    raw_text = None

解决方案建议

方案一：完善空文本检测

修改空文本检测逻辑，不仅要检查长度，还要检查实际内容：

if self.punc_model is not None:
    if not result["text"].strip():  # 使用strip()去除空白字符后检查
        if return_raw_text:
            result['raw_text'] = ''
    else:
        # 原有处理逻辑

方案二：修改文本生成逻辑

在VAD未检测到人声时，直接生成空字符串而非单个空格：

# 在生成result["text"]的地方修改
result["text"] = "" if no_speech else recognized_text

方案三：类型转换保障

在标点模型推理前确保输入张量类型正确：

if self.punc_model is not None and result["text"].strip():
    # 确保输入类型转换
    input_tensor = input_tensor.long()  # 或.int()
    # 后续处理

最佳实践建议

1. 边界条件处理：在语音识别系统中，应该充分考虑各种边界情况，包括但不限于：

   • 完全无声的音频
   • 仅包含环境噪声的音频
   • 极短语音片段
   • 低质量录音

2. 类型安全检查：在模型推理前，应该添加输入数据的类型检查，确保符合模型要求。

3. 日志记录：对于异常情况(如空文本输入)应该记录适当的日志，便于问题追踪。

总结

FunASR在处理无人声音频时出现的标点模型错误，本质上是边界条件处理不完善导致的。通过改进空文本检测逻辑或修改文本生成策略，可以有效地解决这一问题。这也提醒我们在开发语音处理系统时，需要特别注意各种边界情况的处理，确保系统的鲁棒性。