使用Node.js SDK实现faster-whisper-server的音频转录与翻译

faster-whisper-server是一个基于Fast Whisper模型的语音识别服务，提供了HTTP和WebSocket两种接口方式。本文将详细介绍如何使用Node.js SDK与faster-whisper-server进行交互，实现音频文件的转录和翻译功能。

环境准备与配置

在开始使用前，需要确保开发环境满足以下要求：

1. Node.js环境（建议使用LTS版本）
2. FFmpeg工具（版本7.0或以上）
3. 相关npm包：ws、node-fetch、form-data、fluent-ffmpeg、dotenv等

配置.env环境变量文件，包含以下关键配置项：

FFMPEG_PATH=/usr/bin/ffmpeg
TRANSCRIPTION_API_BASE_URL=http://your-server-address
TRANSLATION_API_BASE_URL=http://your-server-address

音频文件处理基础

在使用faster-whisper-server前，通常需要对音频文件进行预处理。WebSocket接口目前仅支持PCM格式的音频数据，因此需要进行格式转换。

const convertToPcm = async (filePath) => {
    const pcmFilePath = filePath.replace(path.extname(filePath), '.pcm');
    
    await new Promise((resolve, reject) => {
        ffmpeg(filePath)
            .audioChannels(1)         // 单声道
            .audioFrequency(16000)     // 16kHz采样率
            .audioCodec('pcm_s16le')  // PCM signed 16-bit little-endian
            .toFormat('s16le')
            .on('end', resolve)
            .on('error', reject)
            .save(pcmFilePath);
    });
    
    return pcmFilePath;
};

此函数将任意音频文件转换为单声道、16kHz采样率的PCM格式，这是语音识别模型处理的最佳格式。

HTTP接口实现音频转录

faster-whisper-server的HTTP转录接口支持多种音频格式，包括WAV、MP3、WEBM等。实现代码如下：

const transcribeFile = async (filePath, model, language, responseFormat, temperature) => {
    const formData = new FormData();
    formData.append('file', fs.createReadStream(filePath));
    formData.append('model', model);
    formData.append('language', language);
    formData.append('response_format', responseFormat);
    formData.append('temperature', temperature);

    const response = await fetch(`${process.env.TRANSCRIPTION_API_BASE_URL}/v1/audio/transcriptions`, {
        method: 'POST',
        body: formData,
    });

    return await response.json();
};

参数说明：

• model: 指定使用的语音识别模型
• language: 指定音频语言代码（如'en'表示英语）
• responseFormat: 响应格式（如'json'）
• temperature: 控制生成文本的随机性（0表示确定性最高）

HTTP接口实现音频翻译

翻译接口目前主要支持将其他语言翻译为英语：

const translateFile = async (filePath, model, responseFormat, temperature) => {
    const formData = new FormData();
    formData.append('file', fs.createReadStream(filePath));
    formData.append('model', model);
    formData.append('response_format', responseFormat);
    formData.append('temperature', temperature);

    const response = await fetch(`${process.env.TRANSLATION_API_BASE_URL}/v1/audio/translations`, {
        method: 'POST',
        body: formData,
    });

    return await response.json();
};

WebSocket实时音频转录

对于需要实时处理的场景，WebSocket接口提供了更高效的交互方式：

const sendAudioOverWebSocket = (filePath, model, language, responseFormat, temperature) => {
    const wsUrl = `ws://your-server-address/v1/audio/transcriptions?model=${encodeURIComponent(model)}&language=${encodeURIComponent(language)}&response_format=${encodeURIComponent(responseFormat)}&temperature=${encodeURIComponent(temperature)}`;
    const ws = new WebSocket(wsUrl);

    ws.on('open', () => {
        const audioBuffer = fs.readFileSync(filePath);
        ws.send(audioBuffer);
    });

    ws.on('message', (message) => {
        console.log('Transcript:', JSON.parse(message));
    });

    ws.on('error', console.error);
};

实际应用示例

综合使用上述功能：

async function main() {
    const model = 'Systran/faster-whisper-large-v3';
    const language = 'en';
    const responseFormat = 'json';
    const temperature = '0';
    const filePath = './audio.webm';

    // 格式转换
    const pcmFilePath = await convertToPcm(filePath);

    // HTTP转录
    const transcription = await transcribeFile(pcmFilePath, model, language, responseFormat, temperature);
    console.log('Transcription:', transcription);

    // HTTP翻译
    const translation = await translateFile(pcmFilePath, model, responseFormat, temperature);
    console.log('Translation:', translation);

    // WebSocket转录
    await sendAudioOverWebSocket(pcmFilePath, model, language, responseFormat, temperature);
}

性能优化建议

1. 批量处理：对于大量音频文件，可以实现批量处理队列
2. 流式处理：对大文件可采用流式上传方式，减少内存占用
3. 错误处理：增加重试机制和错误处理逻辑
4. 结果缓存：对相同音频文件实现结果缓存，避免重复处理

常见问题解决

1. FFmpeg版本问题：确保使用7.0或以上版本，Ubuntu 22.04或更新系统才能支持
2. 音频质量问题：低质量音频可能导致识别率下降，建议预处理时进行降噪
3. 语言支持：确认模型支持的目标语言
4. 网络问题：对于大文件，确保网络稳定或考虑分片上传

通过本文介绍的方法，开发者可以轻松地将faster-whisper-server的语音识别和翻译功能集成到Node.js应用中，满足各种语音处理场景的需求。