PaddleSpeech 流式语音识别服务实战:基于 WebSocket 的 Streaming ASR Server 部署与调用指南

原创2026-09-22 10:47:371,621 阅读
文章标签:语音音频人工智能深度学习

PaddleSpeech 流式语音识别服务实战:基于 WebSocket 的 Streaming ASR Server 部署与调用指南

PaddleSpeech 在 demos/streaming_asr_server 目录下提供了一套开箱即用的流式语音识别(Streaming ASR)服务 Demo,涵盖服务端启动、客户端调用、标点恢复服务以及音频转字幕(.srt)的完整链路。本文将以该 Demo 的官方文档为核心,结合仓库内的真实配置文件与本地脚本源码,一步步讲解如何用 paddlespeech_server 与 paddlespeech_client(或几行 Python 代码)部署和访问流式 ASR 服务,并深入解读每个关键配置参数的作用,帮助你快速搭建一套可实战的实时语音识别服务。

一、Demo 概览:一条命令启动流式语音服务

本 Demo 的核心目标是"启动流式语音服务并访问该服务"。它既可以通过 paddlespeech_server 和 paddlespeech_client 的命令行方式实现,也可以使用几行 Python 代码完成同样的操作。

在使用前必须明确一个重要约束:

流式 ASR 服务只支持 websocket 协议,不支持 http 协议。

这是由流式识别的实时交互特性决定的——音频数据需要在 WebSocket 长连接上持续推流,服务端边接收边解码,边返回增量识别结果,这与一次性请求-响应式的 HTTP 协议不匹配。服务接口定义请参考官方文档中提供的 PaddleSpeech Server WebSocket API 说明。

从仓库结构来看,该 Demo 的关键组成部分包括:

二、环境准备与安装

在开始之前,需要先安装 PaddleSpeech,详细安装过程可参考仓库内的 安装文档。官方推荐使用 paddlepaddle 2.4rc 或以上版本。

安装方式分为简单(easy)、中等(medium)、困难(hard)三种,你可以任选其一:

  • 简单模式:直接通过 pip 安装预编译包。但需要注意,简单模式下需要自行准备 yaml 配置文件,可以参考本 Demo 的 conf 目录下的 yaml 文件;
  • 中等/困难模式:编译安装或源码安装,可以自动获得完整的配置文件与依赖。

三、配置文件准备:conf 目录与核心参数详解

3.1 配置文件清单

流式 ASR 服务相关的配置文件全部位于 demos/streaming_asr_server/conf 目录下,目前服务集成的模型有两类:DeepSpeech2 和 Conformer。对应关系如下:

配置文件 模型 说明
ws_conformer_wenetspeech_application.yaml Conformer(wenetspeech 中文模型) 官方文档推荐的默认配置
ws_conformer_wenetspeech_application_faster.yaml Conformer(wenetspeech 中文模型) 提高解码速度、略微降低精度的加速版
application.yaml Conformer U2++(wenetspeech) 使用 conformer_u2pp_online_wenetspeech 模型
ws_conformer_application.yaml Conformer(multi_cn 多语种中文) 端口为 8091,使用 conformer_online_multicn 模型
ws_ds2_application.yaml DeepSpeech2(wenetspeech) 需要 onnxruntime >= 1.11.0,基于 ONNX Runtime 推理
punc_application.yaml 标点恢复(Ernie) 独立的标点恢复 HTTP 服务

3.2 流式 ASR 服务配置逐项解析

以默认的 ws_conformer_wenetspeech_application.yaml 为例,完整内容如下:

# This is the parameter configuration file for PaddleSpeech Serving.

#################################################################################
#                             SERVER SETTING                                    #
#################################################################################
host: 0.0.0.0
port: 8090

# The task format in the engin_list is: <speech task>_<engine type>
# task choices = ['asr_online']
# protocol = ['websocket'] (only one can be selected).
# websocket only support online engine type.
protocol: 'websocket'
engine_list: ['asr_online']

#################################################################################
#                                ENGINE CONFIG                                  #
#################################################################################

################################### ASR #########################################
################### speech task: asr; engine_type: online #######################
asr_online:
    model_type: 'conformer_online_wenetspeech'
    am_model: # the pdmodel file of am static model [optional]
    am_params:  # the pdiparams file of am static model [optional]
    lang: 'zh'
    sample_rate: 16000
    cfg_path:
    force_yes: True
    device: 'cpu' # cpu or gpu:id
    decode_method: "attention_rescoring"
    continuous_decoding: True # enable continue decoding when endpoint detected
    num_decoding_left_chunks: -1
    am_predictor_conf:
        device:  # set 'gpu:id' or 'cpu'
        switch_ir_optim: True
        glog_info: False  # True -> print glog
        summary: True  # False -> do not show predictor config

    chunk_buffer_conf:
        window_n: 7     # frame
        shift_n: 4      # frame
        window_ms: 25   # ms
        shift_ms: 10    # ms
        sample_rate: 16000
        sample_width: 2

各核心参数的作用如下:

服务端全局设置(SERVER SETTING)

  • host:服务监听地址,默认 0.0.0.0 表示监听所有网卡,允许远程访问;
  • port:服务监听端口,默认 8090;
  • protocol:通信协议,流式 ASR 必须为 websocket;
  • engine_list:引擎列表,格式为 <speech task>_<engine type>,流式 ASR 对应的取值为 ['asr_online']。从配置注释可以看出,websocket 只支持在线(online)引擎类型。

ASR 引擎配置(ENGINE CONFIG / asr_online)

  • model_type:使用的模型类型,默认 conformer_online_wenetspeech(即 WenetSpeech 语料训练的分块流式 Conformer 模型);application.yaml 中则为 conformer_u2pp_online_wenetspeech;
  • am_model / am_params:静态图模型文件(.pdmodel / .pdiparams)的本地路径,留空时自动下载官方预训练模型,属于可选参数;
  • lang:语言,默认 zh;
  • sample_rate:采样率,默认 16000。客户端输入音频的采样率必须与模型一致(16kHz);
  • cfg_path:模型配置路径,留空则使用默认;
  • force_yes:是否强制确认下载模型,默认 True;
  • device:推理设备,默认 'cpu',可改为 'gpu:0' 等(即 gpu:id 格式)实现 GPU 部署;
  • decode_method:解码方式,默认 "attention_rescoring"(注意力重打分,精度更高);
  • continuous_decoding:是否启用连续解码,默认 True,即检测到端点(endpoint)后继续对后续音频解码,而不是断开;
  • num_decoding_left_chunks:解码时左侧上下文 chunk 数量,-1 表示不限制(使用全部左侧历史);加速版配置将该值设为 16,即只保留最近 16 个 chunk 作为左侧上下文,从而显著减少计算量、提高解码速度,代价是上下文信息减少、精度略有下降。这正是"faster"配置的核心差异。

推理器配置(am_predictor_conf)

  • device:推理器设备,可单独指定 'gpu:id' 或 'cpu',留空时沿用外层 device;
  • switch_ir_optim:是否开启 IR 优化,默认 True;
  • glog_info:是否打印 glog 日志,默认 False;
  • summary:是否打印预测器配置摘要,默认 True。

分块缓冲区配置(chunk_buffer_conf)

流式识别需要把连续的音频流切成一个个 chunk 送入模型,各参数含义为:

  • window_n:每窗的帧数,默认 7 帧;
  • shift_n:窗移帧数,默认 4 帧;
  • window_ms:窗长(毫秒),默认 25ms;
  • shift_ms:帧移(毫秒),默认 10ms;
  • sample_rate:采样率 16000;
  • sample_width:采样位宽(字节数),默认 2(即 16bit PCM)。

ws_ds2_application.yaml(DeepSpeech2)额外增加了 ONNX Runtime 推理相关的 am_predictor_conf 参数,包括 graph_optimization_level(图优化级别)、intra_op_num_threads(节点内并行线程数)、inter_op_num_threads(节点间并行线程数)、log_severity_level(日志级别,0:Verbose 到 4:Fatal,默认 2)等,并需要 onnxruntime >= 1.11.0 环境。

3.3 准备测试音频

ASR 客户端的输入必须是 WAV 文件(.wav),且采样率必须与模型一致(16000)。官方提供了示例音频 zh.wav,可下载到当前目录:

wget -c https://paddlespeech.cdn.bcebos.com/PaddleAudio/zh.wav

四、启动流式 ASR 服务端

4.1 命令行方式(推荐)

在 PaddleSpeech/demos/streaming_asr_server 目录下执行:

# 启动默认配置的流式 ASR 服务
paddlespeech_server start --config_file ./conf/ws_conformer_wenetspeech_application.yaml

# 如果希望提高解码速度(以轻微精度损失为代价),使用加速版配置
paddlespeech_server start --config_file ./conf/ws_conformer_wenetspeech_application_faster.yaml

paddlespeech_server start 支持以下参数:

  • config_file:服务的 yaml 配置文件,默认 ./conf/application.yaml;
  • log_file:日志文件,默认 ./log/paddlespeech.log。

注意:服务默认部署在 CPU 设备上,如需 GPU 部署,修改服务配置文件中的 device 参数即可(例如 device: 'gpu:0')。

启动成功的日志输出如下(节选):

[2022-05-14 04:56:13,086] [    INFO] - create the online asr engine instance
[2022-05-14 04:56:13,086] [    INFO] - paddlespeech_server set the device: cpu
[2022-05-14 04:56:13,087] [    INFO] - Load the pretrained model, tag = conformer_online_wenetspeech-zh-16k
[2022-05-14 04:56:17,542] [    INFO] - Use pretrained model stored in: /root/.paddlespeech/models/conformer_online_wenetspeech-zh-16k/asr1_chunk_conformer_wenetspeech_ckpt_1.0.0a.model.tar
[2022-05-14 04:56:17,852] [    INFO] - start to create the stream conformer asr engine
[2022-05-14 04:56:17,863] [    INFO] - model name: conformer_online
[2022-05-14 04:56:22,756] [    INFO] - create the transformer like model success
[2022-05-14 04:56:22,758] [    INFO] - Initialize ASR server engine successfully.
INFO:     Started server process [4242]
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8090 (Press CTRL+C to quit)

日志清晰地展示了服务端启动链路:创建在线 ASR 引擎 → 设置设备为 cpu → 自动下载/加载预训练模型(存储在 ~/.paddlespeech/models/ 下)→ 创建流式 Conformer 引擎 → 初始化成功 → Uvicorn 在 http://0.0.0.0:8090 上监听。可以看到底层是基于 Uvicorn 启动的 WebSocket 服务。

4.2 Python API 方式

如果你更习惯在 Python 中编程启动服务,可以在 PaddleSpeech/demos/streaming_asr_server 目录下执行:

from paddlespeech.server.bin.paddlespeech_server import ServerExecutor

server_executor = ServerExecutor()
server_executor(
    config_file="./conf/ws_conformer_wenetspeech_application_faster.yaml",
    log_file="./log/paddlespeech.log")

其输出与命令行方式完全一致。实际上,本地脚本 local/streaming_asr_server.py 就是对这个 ServerExecutor 的薄封装:脚本通过 argparse 解析 --config_file 与 --log_file 两个参数(默认日志路径为 ./log/paddlespeech.log),随后调用 ServerExecutor() 并传入配置启动服务。这也印证了"命令行与 Python API 等价"的设计。

五、ASR 客户端调用

提示:客户端第一次调用时响应时间会略长(需要初始化 WebSocket 连接与解码器)。

5.1 命令行方式(推荐)

如果 127.0.0.1 不可访问(例如远程部署),需要使用实际的服务 IP 地址:

paddlespeech_client asr_online --server_ip 127.0.0.1 --port 8090 --input ./zh.wav

paddlespeech_client asr_online 支持以下参数:

参数 说明 默认值
server_ip 服务 IP 地址 127.0.0.1
port 服务端口 8090
input(必填) 待识别的音频文件 无
sample_rate 音频采样率 16000
lang 语言 "zh_cn"
audio_format 音频格式 "wav"
punc.server_ip 标点服务 IP None
punc.server_port 标点服务端口 None

运行后,客户端通过 WebSocket 持续发送音频分块,并实时打印服务端返回的增量识别结果:

[2022-05-06 21:10:35,598] [    INFO] - Start to do streaming asr client
[2022-05-06 21:10:35,600] [    INFO] - asr websocket client start
[2022-05-06 21:10:35,600] [    INFO] - endpoint: ws://127.0.0.1:8390/paddlespeech/asr/streaming
[2022-05-06 21:10:35,600] [    INFO] - start to process the wavscp: ./zh.wav
[2022-05-06 21:10:35,670] [    INFO] - client receive msg={"status": "ok", "signal": "server_ready"}
[2022-05-06 21:10:35,699] [    INFO] - client receive msg={'result': ''}
...
[2022-05-06 21:10:36,930] [    INFO] - client receive msg={'result': '我认为跑'}
...
[2022-05-06 21:10:44,827] [    INFO] - client final receive msg={'status': 'ok', 'signal': 'finished', 'result': '我认为跑步最重要的就是给我带来了身体健康', 'times': [{'w': '我', 'bg': 0.0, 'ed': 0.7000000000000001}, ...]}
[2022-05-06 21:10:44,827] [    INFO] - audio duration: 4.9968125, elapsed time: 9.225094079971313, RTF=1.846195765794957
[2022-05-06 21:10:44,828] [    INFO] - asr websocket client finished : 我认为跑步最重要的就是给我带来了身体健康

这份输出非常直观地体现了"流式"特性:识别结果从空字符串开始,随着音频不断推送逐步增长——'' → '我认为跑' → '我认为跑步最重要的' → ... → 最终完整结果 '我认为跑步最重要的就是给我带来了身体健康'。最后一条消息 signal: 'finished' 表示识别结束,同时携带每个字的起止时间(times 字段中每个 w/bg/ed 代表一个字的文本、开始时间与结束时间),以及统计信息:音频时长(audio duration)、耗时(elapsed time)和实时率 RTF(Real-Time Factor,RTF = 处理耗时 / 音频时长)。日志最后还会打印完整识别结果。

5.2 Python API 方式

from paddlespeech.server.bin.paddlespeech_client import ASROnlineClientExecutor

asrclient_executor = ASROnlineClientExecutor()
res = asrclient_executor(
    input="./zh.wav",
    server_ip="127.0.0.1",
    port=8090,
    sample_rate=16000,
    lang="zh_cn",
    audio_format="wav")
print(res)

输出同样会打印流式识别的中间过程,res 变量保存最终识别结果,直接 print 即可得到 '我认为跑步最重要的就是给我带来了身体健康' 这样的文本。

5.3 深入本地客户端脚本

本地脚本 local/websocket_client.py 展示了更完整的调用方式。核心逻辑为:

  • 构造 ASRWsAudioHandler 对象(来自 paddlespeech.server.utils.audio_handler),传入 server_ip、port、endpoint(默认 /paddlespeech/asr/streaming)、标点服务地址等参数;
  • 通过 asyncio.get_event_loop().run_until_complete(handler.run(wavfile)) 驱动整个流式识别流程;
  • 除了支持单文件(--wavfile)外,还支持批量识别(--wavscp):逐行读取 wav.scp 格式的文本(每行 utt_name utt_path),逐个识别并把结果写入 result.txt。

脚本中还给出了计算平均 RTF 的参考命令:

# 从日志中统计平均 RTF(非精确)
grep -rn RTF log.txt | awk '{print $NF}' | awk -F "=" '{sum += $NF} END {print "all time",sum, "audio num", NR,  "RTF", sum/NR}'

六、标点恢复服务(Punctuation Service)

流式 ASR 输出的文本默认不带标点,而 PaddleSpeech 提供了独立的标点恢复服务来补充标点,让识别结果更适合阅读。标点服务走 HTTP 协议,其配置见 punc_application.yaml:protocol: 'http'、engine_list: ['text_python']、text_python.task: punc、模型为 ernie_linear_p3_wudao(基于 ERNIE 的中文标点预测模型),服务端口为 8190。

6.1 服务端启动

命令行方式,在 PaddleSpeech/demos/streaming_asr_server 目录执行:

paddlespeech_server start --config_file conf/punc_application.yaml

同样支持 config_file 与 log_file 两个参数。启动成功日志(节选):

[2022-05-02 17:59:26,285] [    INFO] - Create the TextEngine Instance
[2022-05-02 17:59:26,285] [    INFO] - Init the text engine
[2022-05-02 17:59:26,285] [    INFO] - Text Engine set the device: gpu:0
[2022-05-02 17:59:34,688] [    INFO] - Already cached /home/users/xiongxinlei/.paddlenlp/models/ernie-1.0/vocab.txt
[2022-05-02 17:59:34,701] [    INFO] - Init the text engine successfully
INFO:     Uvicorn running on http://0.0.0.0:8190 (Press CTRL+C to quit)

注意日志中 Text Engine set the device: gpu:0 表明标点服务也支持通过修改 device 参数部署到 GPU。Python API 方式与 ASR 服务完全一致:

from paddlespeech.server.bin.paddlespeech_server import ServerExecutor

server_executor = ServerExecutor()
server_executor(
    config_file="./conf/punc_application.yaml",
    log_file="./log/paddlespeech.log")

6.2 客户端调用

命令行方式(127.0.0.1 不可访问时需替换为实际 IP):

paddlespeech_client text --server_ip 127.0.0.1 --port 8190 --input "我认为跑步最重要的就是给我带来了身体健康"

输出:

[2022-05-02 18:12:29,767] [    INFO] - The punc text: 我认为跑步最重要的就是给我带来了身体健康。
[2022-05-02 18:12:29,767] [    INFO] - Response time 0.096548 s.

可以看到文本末尾被正确地补上了句号。Python API 方式:

from paddlespeech.server.bin.paddlespeech_client import TextClientExecutor

textclient_executor = TextClientExecutor()
res = textclient_executor(
    input="我认为跑步最重要的就是给我带来了身体健康",
    server_ip="127.0.0.1",
    port=8190,)
print(res)

输出即为带标点的文本:我认为跑步最重要的就是给我带来了身体健康。

七、流式 ASR 与标点服务联合使用

语音识别与标点预测是两条独立的服务链路,二者可以分别部署在不同 GPU 上(通过各自配置文件的 device 参数指定),再由客户端同时调用两个服务,实现"识别 + 标点"一体化输出。

7.1 同时启动两个服务

仓库提供了 server.sh 一键脚本,后台并行拉起标点服务与流式 ASR 服务:

bash server.sh

脚本内容实质上是:

paddlespeech_server start --config_file conf/punc_application.yaml &> punc.log &
paddlespeech_server start --config_file conf/ws_conformer_wenetspeech_application.yaml &> streaming_asr.log &

即流式 ASR 与标点服务分别通过配置文件部署(可配置到不同显卡),日志分别写入 punc.log 与 streaming_asr.log,方便排查问题。脚本中注释掉的 python3 local/punc_server.py --config_file ... 与 python3 local/streaming_asr_server.py --config_file ... 则是等价的脚本启动方式,进一步印证了两条启动路径的一致性。

7.2 命令行联合调用

paddlespeech_client asr_online --server_ip 127.0.0.1 --port 8090 --punc.server_ip 127.0.0.1 --punc.port 8190 --input ./zh.wav

即通过 --punc.server_ip 与 --punc.port 指定标点服务地址。此时客户端返回的流式结果会实时带上标点,例如:

[2022-05-07 11:21:48,459] [    INFO] - client receive msg={'result': '我认为,跑'}
[2022-05-07 11:21:49,935] [    INFO] - client receive msg={'result': '我认为,跑步最重要的。'}
[2022-05-07 11:22:03,035] [    INFO] - client final receive msg={'status': 'ok', 'signal': 'finished', 'result': '我认为跑步最重要的就是给我带来了身体健康。', 'times': [...]}
[2022-05-07 11:22:03,037] [    INFO] - 我认为跑步最重要的就是给我带来了身体健康。

对比"仅 ASR"的输出可以发现,联合调用下中间结果会实时追加标点('我认为,跑'、'我认为,跑步最重要的。'),最终结果以句号收尾,可读性大幅提升。

7.3 使用本地脚本调用

除了 paddlespeech_client,还可以直接运行仓库提供的 local/websocket_client.py:

python3 local/websocket_client.py --server_ip 127.0.0.1 --port 8090 --punc.server_ip 127.0.0.1 --punc.port 8190 --wavfile ./zh.wav

脚本支持 --wavfile(单文件)与 --wavscp(批量列表)两种输入方式,输出与命令行客户端一致。需要留意的是,脚本源码中 --punc.port 的默认值为 8091,而官方示例中标点服务端口为 8190,因此联合调用时建议显式指定 --punc.port 以匹配实际部署的标点服务端口。

八、从音频生成字幕文件(.srt)

在"流式 ASR + 标点"服务的基础上,仓库还提供了 local/websocket_client_srt.py,可以直接把一段音频(.wav 或 .mp3)转成带时间轴的字幕文件(.srt 格式),非常适合视频字幕、课堂录像等场景。

前置条件:

  • 需要安装 ffmpeg(用于音频解码);
  • 需要在 .../demos/streaming_asr_server/ 目录下运行脚本。

8.1 启动两个服务

先启动流式 ASR 服务:

paddlespeech_server start --config_file ./conf/ws_conformer_wenetspeech_application.yaml

再打开另一个终端启动标点服务:

paddlespeech_server start --config_file conf/punc_application.yaml

8.2 运行字幕生成脚本

python3 local/websocket_client_srt.py --server_ip 127.0.0.1 --port 8090 --punc.server_ip 127.0.0.1 --punc.port 8190 --wavfile ../../data/认知.mp3

运行日志(节选)展示了完整流程:

[2023-03-30 23:26:13,994] [    INFO] - asr websocket client start
[2023-03-30 23:26:13,994] [    INFO] - endpoint: http://127.0.0.1:8190/paddlespeech/text
[2023-03-30 23:26:13,994] [    INFO] - endpoint: ws://127.0.0.1:8090/paddlespeech/asr/streaming
[2023-03-30 23:26:14,475] [    INFO] - /home/fxb/PaddleSpeech-develop/data/认知.mp3 converted to /home/fxb/PaddleSpeech-develop/data/认知.wav
...
[2023-03-30 23:26:46,380] [    INFO] - client punctuation restored msg={'result': '第一部分是认知部分,该部分通过示意图和文本的形式向学生讲解主要传感器的工作原理,...'}
[2023-03-30 23:27:01,059] [    INFO] - client final receive msg={'status': 'ok', 'signal': 'finished', 'result': '...提升学生对实训的兴趣以及意义感。', 'times': [...]}
[2023-03-30 23:27:01,060] [    INFO] - audio duration: 26.04, elapsed time: 46.581613540649414, RTF=1.7888484462614982
sentences:  ['第一部分是认知部分', '该部分通过示意图和文本的形式向学生讲解主要传感器的工作原理', ...]
relative_times:  [[0.0, 2.1], [2.1, 8.06], ...]
[2023-03-30 23:27:01,076] [    INFO] - results saved to /home/fxb/PaddleSpeech-develop/data/认知.srt

日志清晰展示了三个关键阶段:

  1. 音频格式转换:脚本先用 pydub 的 AudioSegment 把 mp3 转为 16kHz 单声道的 wav(对应源码中的 convert_to_wav 函数,它设置 set_channels(1) 与 set_frame_rate(16000));
  2. 流式识别 + 标点恢复:同时连接 ASR 的 WebSocket 端点与标点的 HTTP 端点,实时输出增量结果;
  3. 生成 .srt 字幕:脚本根据最终结果的 times 字段(每字起止时间)按 ,/。 切分句子(对应源码中的 results2srt 函数,使用 re.split(',|。', result)),计算每个句子的起止时间(relative_times),再用 format_time 格式化为 HH:MM:SS,mmm 的标准 SRT 时间轴,最终把结果保存为与输入同名的 .srt 文件。

九、浏览器网页 Demo:实时录音识别

除了命令行与 Python API,本 Demo 还附带了一个网页版实时识别页面 demos/streaming_asr_server/web/index.html,其使用步骤记录在 web/readme.md 中:

  1. 开启流式语音识别服务端:

    cd PaddleSpeech/demos/streaming_asr_server
    paddlespeech_server start --config_file conf/ws_conformer_wenetspeech_application_faster.yaml
    
  2. 用 Chrome 等浏览器打开 web 目录下的 index.html;

  3. 点击"连接",验证 WebSocket 是否成功连接(地址形如 ws://127.0.0.1:8090/paddlespeech/asr/streaming);

  4. 点击"开始录音"(浏览器会弹出麦克风权限询问,需允许),即可边说话边在"识别结果"区域看到实时返回的文本。

PaddleSpeech 流式语音识别网页 Demo 界面,包含 WebSocket 连接、录音按钮与实时识别结果显示区域

页面底部的 WebSocket 连接地址 ws://127.0.0.1:8090/paddlespeech/asr/streaming 与客户端脚本中的默认 endpoint(/paddlespeech/asr/streaming)完全一致,说明网页端与命令行/脚本客户端走的是同一条 WebSocket 识别通道,仅是交互形态不同。

十、测试与性能参考

仓库在 demos/streaming_asr_server/test.sh 提供了测试脚本,并提供了 local/rtf_from_log.py 用于从日志中统计 RTF。RTF(Real-Time Factor,实时率)是衡量流式识别性能的核心指标:RTF < 1 表示处理速度高于音频播放速度,可以支撑实时场景;RTF > 1 则表示处理慢于音频时长。官方文档的示例日志中,5 秒左右的 zh.wav 在纯 ASR 场景下 RTF 约为 1.8,联合标点服务后因多了一次 HTTP 往返,RTF 会有所上升——这些数值仅用于参考,实际表现取决于 CPU/GPU 算力、num_decoding_left_chunks 设置与并发负载。

十一、总结

本文以 demos/streaming_asr_server/README.md 为主线,完整梳理了 PaddleSpeech 流式语音识别服务的部署与调用链路:

  • 服务端:paddlespeech_server start --config_file 或 ServerExecutor 启动,底层基于 Uvicorn + WebSocket;
  • 客户端:paddlespeech_client asr_online 或 ASROnlineClientExecutor,实时输出增量识别结果,并携带逐字时间戳与 RTF 统计;
  • 标点服务:独立的 HTTP 服务(paddlespeech_client text),可为 ASR 结果实时补充标点;
  • 联合调用:通过 --punc.server_ip/--punc.port 参数一次拿到"带标点的流式识别结果";
  • 字幕生成:websocket_client_srt.py 可将 wav/mp3 直接转为 .srt 字幕文件;
  • 网页演示:web/index.html 提供浏览器实时录音识别体验。

所有关键配置(采样率 16000、chunk 窗口参数、解码 chunk 数、设备选择等)均可在 conf 目录 下的 yaml 文件中调整,相关脚本源码则位于 local 目录,建议读者结合实际场景在仓库中进一步探索。

登录后查看全文
PaddleSpeech