AWS SDK for JavaScript v3 中处理大音频流转录问题的解决方案

问题背景

在使用 AWS SDK for JavaScript v3 的 Transcribe 服务进行音频流转录时，开发者可能会遇到"Your stream is too big"的错误提示。这个问题尤其在使用 WAV 格式音频文件时更为常见，而同样的代码处理 OGG 格式文件却能正常工作。

问题分析

该问题的核心在于音频流的分块处理方式。当音频流的分块大小超过 Transcribe 服务的限制时，就会出现上述错误。WAV 文件由于采用 PCM 编码，通常比压缩格式的 OGG 文件体积更大，更容易触发这个限制。

解决方案

1. 理解最佳实践

根据 AWS Transcribe 服务的官方文档，音频流应该按照 100 毫秒的间隔进行分块。这意味着我们需要计算适合我们音频采样率的块大小：

• 对于 8000Hz 采样率的音频：块大小 = 2 * 8000 * 100 / 1000 = 1600 字节
• 对于 16000Hz 采样率的音频：块大小 = 2 * 16000 * 100 / 1000 = 3200 字节

2. 实现优化的音频流处理

以下是优化后的代码实现方案：

const sampleRate = 8000; // 音频采样率
const chunkSize = (2 * sampleRate * 100) / 1000; // 计算100ms对应的块大小

const audioStream = async function* () {
  for await (const payloadChunk of audioPayloadStream) {
    let total_bytes_sent = 0;
    
    // 如果接收到的块大于推荐大小，则进行分割
    if (payloadChunk.byteLength > chunkSize) {
      const result = [];
      const len = payloadChunk.length;
      let i = 0;

      // 分割大块为多个小块
      while (i < len) {
        result.push(payloadChunk.slice(i, (i += chunkSize)));
      }

      // 处理每个小块
      for (const chunk of result) {
        total_bytes_sent += chunk.byteLength;
        yield { AudioEvent: { AudioChunk: chunk } };
      }
    } else {
      // 直接处理小块
      total_bytes_sent += payloadChunk.byteLength;
      yield { AudioEvent: { AudioChunk: payloadChunk } };
    }

    // 添加适当延迟以匹配实时音频流
    await new Promise((r) =>
      setTimeout(r, total_bytes_sent / (2 * (sampleRate / 1000)))
    );
  }
};

3. 关键优化点

1. 动态分块处理：根据音频采样率自动计算合适的分块大小
2. 大块分割：当接收到的数据块过大时，自动分割为多个符合要求的小块
3. 流量控制：通过适当的延迟模拟实时音频流，避免服务器过载

实施建议

1. 采样率匹配：确保代码中设置的采样率与实际音频文件的采样率一致
2. 编码格式检查：确认音频文件的编码格式与 MediaEncoding 参数匹配
3. 错误处理：添加适当的错误处理逻辑，捕获并处理可能的异常
4. 性能监控：监控转录过程的延迟和资源使用情况，必要时调整分块策略

总结

通过合理控制音频流的分块大小和传输速率，可以有效解决 AWS Transcribe 服务中的"Your stream is too big"错误。本文提供的解决方案不仅解决了当前问题，还遵循了 AWS 的最佳实践，确保了音频转录服务的稳定性和效率。开发者可以根据实际需求调整分块大小和延迟策略，以获得最佳的性能表现。