WhisperKit 项目中复制功能在流式模式下的优化方案

背景介绍

WhisperKit 是一个开源的语音识别工具包，它提供了高效的语音转文本功能。在项目的演示应用中，用户可以通过点击复制按钮将识别结果复制到剪贴板。然而，当使用流式模式（streaming）或即时解码（eager mode）时，这个复制功能并不能正常工作。

问题分析

在标准模式下，WhisperKit 使用分段处理的方式存储识别结果，复制功能可以正常工作。但在流式或即时解码模式下，系统采用了不同的数据结构存储识别结果，导致现有的复制逻辑无法获取完整的转录文本。

具体表现为：

1. 标准模式下使用 confirmedSegments 和 unconfirmedSegments 存储结果
2. 即时解码模式下使用 confirmedText 和 hypothesisText 存储结果
3. 现有的复制功能只处理了标准模式的情况

解决方案

针对这一问题，社区贡献者提出了一个改进方案，主要包含以下优化点：

1. 模式判断：根据是否启用即时解码模式（enableEagerDecoding）选择不同的数据源
2. 文本拼接：
   • 标准模式下：合并已确认和未确认的片段，并可选添加时间戳
   • 即时解码模式下：直接拼接已确认文本和假设文本
3. 跨平台支持：同时兼容 iOS 和 macOS 系统的剪贴板操作
4. 快捷键支持：添加了 Command+C 的键盘快捷键

技术实现细节

.toolbar(content: {
    ToolbarItem {
        Button {
            if (!enableEagerDecoding) {
                let fullTranscript = formatSegments(confirmedSegments + unconfirmedSegments, withTimestamps: enableTimestamps).joined(separator: "\n")
                #if os(iOS)
                UIPasteboard.general.string = fullTranscript
                #elseif os(macOS)
                NSPasteboard.general.clearContents()
                NSPasteboard.general.setString(fullTranscript, forType: .string)
                #endif
            } else {
                #if os(iOS)
                UIPasteboard.general.string = confirmedText + hypothesisText
                #elseif os(macOS)
                NSPasteboard.general.clearContents()
                NSPasteboard.general.setString(confirmedText + hypothesisText, forType: .string)
                #endif
            }
        } label: {
            Label("Copy Text", systemImage: "doc.on.doc")
        }
        .keyboardShortcut("c", modifiers: .command)
        .foregroundColor(.primary)
        .frame(minWidth: 0, maxWidth: .infinity)
    }
})

实际应用价值

这一改进对于需要实时转录的场景特别有用，例如：

• 会议记录：可以随时复制当前转录内容
• 采访记录：快速获取已转录的部分内容
• 学习笔记：即时保存重要的语音内容

总结

WhisperKit 通过这一改进，使得复制功能在所有工作模式下都能正常使用，大大提升了用户体验。这也展示了开源社区如何通过用户反馈不断优化产品功能的典型案例。对于开发者而言，这种针对不同模式采用不同处理逻辑的方法，在处理复杂功能时值得借鉴。