FunASR中SeACo-Paraformer模型复现结果差异分析

背景介绍

FunASR项目中的SeACo-Paraformer模型是一个基于热词增强的语音识别系统，在特定场景下能够显著提升识别准确率。该模型在论文中公布了在Aishell-1数据集上的优异表现，但在实际复现过程中，部分开发者遇到了结果不一致的问题。

核心问题分析

经过与项目维护者的深入交流，我们发现导致复现结果差异的主要原因有以下几点：

1. 测试数据集差异
   论文中报告的结果并非使用完整的Aishell-1 dev集，而是基于NER结果筛选出的包含热词的子集。这个子集专门用于评估模型在热词识别场景下的性能。

2. API调用方式差异
   许多开发者习惯使用modelscope pipeline进行调用，但当前版本存在热词传入功能的bug，可能导致热词增强效果无法正常生效。

3. 预处理组件影响
   额外使用VAD(语音活动检测)等预处理组件可能会对最终识别结果产生细微影响，特别是在音频切分边界处。

正确复现方法

项目维护者提供了标准的测试脚本，关键点包括：

• 直接使用AutoModel接口而非pipeline
• 明确指定模型版本(v2.0.4)
• 正确传入热词文件路径
• 禁用不必要的预处理组件(VAD等)

测试结果显示，在dev子集上CER为1.98%，热词召回率(R)达到0.935，精确率(P)为0.986，F1值为0.960，与论文结果一致。

经验总结

1. 在复现论文结果时，必须严格核对测试数据集的构成
2. 优先使用项目推荐的标准调用方式
3. 对于功能复杂的模型系统，应逐步验证各组件的影响
4. 关注项目issue区获取最新的使用建议和已知问题

最佳实践建议

对于希望使用SeACo-Paraformer的开发者，建议：

1. 从项目指定位置获取测试子集和配套热词文件
2. 使用原生FunASR接口而非封装后的pipeline
3. 在性能关键场景下进行AB测试验证热词效果
4. 关注项目更新以获取热词功能修复进展

通过遵循这些实践，开发者可以准确评估模型在热词增强场景下的真实性能，并将其有效应用于实际业务中。