Faster-Whisper 模型使用 word_timestamps 参数崩溃问题解析

在使用 Faster-Whisper 项目中的 Distil 版 Whisper 模型进行语音识别时，开发者可能会遇到一个棘手的问题：当启用 word_timestamps=True 参数时，程序会无预警崩溃，而同样的模型在不使用该参数时却能正常工作。

问题现象

用户报告称，在使用特定版本的 Distil Whisper 模型（法语优化版）时，只要设置 word_timestamps=True，Python 解释器就会立即退出，不产生任何错误信息或堆栈跟踪。这种"静默崩溃"现象给问题排查带来了很大困难。

根本原因

经过技术社区深入分析，发现问题根源在于模型配置文件中的 alignment_heads 字段。这个字段对于生成单词级时间戳至关重要，但在某些经过蒸馏(distilled)或微调(fine-tuned)的 Whisper 模型版本中，该字段可能被错误配置或完全缺失。

解决方案

针对此问题，社区提供了两种解决路径：

1. 修改模型配置：检查并修正模型目录下的 config.json 文件，确保其中包含正确的 alignment_heads 配置。对于标准 Whisper 模型，这个字段通常包含一个二维数组，指定了用于对齐的注意力头。

2. 使用修复后的模型版本：模型作者已经发布了修正后的版本，其中包含了正确的配置，可以直接下载使用。

最佳实践建议

除了解决崩溃问题外，技术专家还建议在使用这类模型时：

• 对于长格式音频的连续解码，设置 condition_on_previous_text=False 可以获得更好的转录质量
• 始终验证模型配置文件的完整性，特别是当使用社区提供的微调版本时
• 在启用高级功能(如单词时间戳)前，先进行基本功能的测试

技术背景

Whisper 模型的单词级时间戳功能依赖于特定的注意力机制配置。alignment_heads 参数告诉模型哪些注意力头应该用于对齐音频和文本。当这个配置缺失或不正确时，模型无法正确执行时间戳计算，导致底层处理逻辑出现严重错误。

对于蒸馏版模型，这个问题尤为常见，因为在模型压缩过程中，某些对基本转录功能非必需但影响高级功能的配置可能会被意外修改或删除。这提醒我们在使用优化版模型时，需要特别注意功能完整性的验证。