WhisperKit 多语言转录问题分析与解决方案

问题背景

WhisperKit 是一个基于 Whisper 模型的语音识别工具包，在实际使用过程中，开发者发现了一些与多语言转录相关的技术问题。主要表现为：

1. 对于西班牙语和葡萄牙语等非英语语言，无论选择转录(Transcribe)还是翻译(Translate)任务，输出结果都会被自动翻译成英语
2. 只有 whisper-large-v3-turbo 954MB 模型能够正常进行非英语转录，其他 v3 large 模型都会出现自动翻译现象
3. 类似问题也出现在 distil-whisper_distil-large-v3_594MB 模型上，即使明确设置语言参数，仍然会输出英语结果

技术分析

经过深入调查，发现这些问题主要由以下几个技术因素导致：

1. 预填充提示(Prefill Prompt)配置问题

Whisper 模型在开始转录前需要接收特定的提示词(prefill prompt)来明确任务要求。日志分析显示，当预填充提示未被正确使用时，模型会默认尝试将输入转录为英语。

解决方案：

• 确保启用 usePrefillPrompt 选项
• 在应用程序设置中勾选"使用预填充提示"选项
• 在命令行中使用 --use-prefill-prompt 参数

2. 模型能力限制

不同 Whisper 模型的多语言支持能力存在差异：

• distil-whisper_distil-large-v3 等蒸馏模型仅针对英语优化，不具备完整的多语言能力
• 完整版的 large-v3 和 small 变体才具备真正的多语言支持能力

建议：

• 处理非英语语音时，应优先选择 large-v3 或 small 系列模型
• 避免在非英语场景使用蒸馏模型

3. 语言自动检测功能

对于需要自动检测语言的场景，WhisperKit 提供了专门的解决方案：

let optionsDetectOnly = DecodingOptions(
    task: .transcribe, 
    temperatureFallbackCount: 0, 
    sampleLength: 1, 
    detectLanguage: true
)

此配置会执行单次前向传播，仅返回检测到的语言信息，而不进行完整转录，适合需要先确定语言再处理的场景。

最佳实践建议

1. 模型选择原则：

   • 多语言场景：使用 large-v3 或 small 系列
   • 纯英语场景：可考虑使用蒸馏模型以获得更高效率

2. 配置检查清单：

   • 确认 usePrefillPrompt 已启用
   • 明确设置目标语言参数
   • 对于自动检测场景，使用专门的 detectLanguage 选项

3. 性能优化：

   • 短语音片段可设置较小的 sampleLength
   • 长语音可考虑分片处理

总结

WhisperKit 的多语言能力依赖于正确的模型选择和参数配置。开发者应当根据实际需求选择合适的模型，并确保相关语言参数正确设置。对于自动语言检测等高级功能，可使用专门的解码选项来实现。理解这些技术细节将帮助开发者更好地利用 WhisperKit 处理多语言语音识别任务。