PaddleSpeech 流式语音识别服务实战:基于 WebSocket 的 Streaming ASR Server 部署与调用指南
PaddleSpeech 流式语音识别服务实战:基于 WebSocket 的 Streaming ASR Server 部署与调用指南
PaddleSpeech 在 demos/streaming_asr_server 目录下提供了一套开箱即用的流式语音识别(Streaming ASR)服务 Demo,涵盖服务端启动、客户端调用、标点恢复服务以及音频转字幕(.srt)的完整链路。本文将以该 Demo 的官方文档为核心,结合仓库内的真实配置文件与本地脚本源码,一步步讲解如何用 paddlespeech_server 与 paddlespeech_client(或几行 Python 代码)部署和访问流式 ASR 服务,并深入解读每个关键配置参数的作用,帮助你快速搭建一套可实战的实时语音识别服务。
一、Demo 概览:一条命令启动流式语音服务
本 Demo 的核心目标是"启动流式语音服务并访问该服务"。它既可以通过 paddlespeech_server 和 paddlespeech_client 的命令行方式实现,也可以使用几行 Python 代码完成同样的操作。
在使用前必须明确一个重要约束:
流式 ASR 服务只支持
websocket协议,不支持http协议。
这是由流式识别的实时交互特性决定的——音频数据需要在 WebSocket 长连接上持续推流,服务端边接收边解码,边返回增量识别结果,这与一次性请求-响应式的 HTTP 协议不匹配。服务接口定义请参考官方文档中提供的 PaddleSpeech Server WebSocket API 说明。
从仓库结构来看,该 Demo 的关键组成部分包括:
- 配置文件目录 demos/streaming_asr_server/conf:存放流式 ASR、标点服务等各类服务的 yaml 配置;
- 本地脚本目录 demos/streaming_asr_server/local:包含
streaming_asr_server.py、punc_server.py、websocket_client.py、websocket_client_srt.py等可独立运行的脚本; - 一键脚本 server.sh:后台同时拉起流式 ASR 与标点两个服务;
- 网页 Demo demos/streaming_asr_server/web:提供基于浏览器的实时录音识别页面。
二、环境准备与安装
在开始之前,需要先安装 PaddleSpeech,详细安装过程可参考仓库内的 安装文档。官方推荐使用 paddlepaddle 2.4rc 或以上版本。
安装方式分为简单(easy)、中等(medium)、困难(hard)三种,你可以任选其一:
- 简单模式:直接通过 pip 安装预编译包。但需要注意,简单模式下需要自行准备 yaml 配置文件,可以参考本 Demo 的
conf目录下的 yaml 文件; - 中等/困难模式:编译安装或源码安装,可以自动获得完整的配置文件与依赖。
三、配置文件准备:conf 目录与核心参数详解
3.1 配置文件清单
流式 ASR 服务相关的配置文件全部位于 demos/streaming_asr_server/conf 目录下,目前服务集成的模型有两类:DeepSpeech2 和 Conformer。对应关系如下:
| 配置文件 | 模型 | 说明 |
|---|---|---|
| ws_conformer_wenetspeech_application.yaml | Conformer(wenetspeech 中文模型) | 官方文档推荐的默认配置 |
| ws_conformer_wenetspeech_application_faster.yaml | Conformer(wenetspeech 中文模型) | 提高解码速度、略微降低精度的加速版 |
| application.yaml | Conformer U2++(wenetspeech) | 使用 conformer_u2pp_online_wenetspeech 模型 |
| ws_conformer_application.yaml | Conformer(multi_cn 多语种中文) | 端口为 8091,使用 conformer_online_multicn 模型 |
| ws_ds2_application.yaml | DeepSpeech2(wenetspeech) | 需要 onnxruntime >= 1.11.0,基于 ONNX Runtime 推理 |
| punc_application.yaml | 标点恢复(Ernie) | 独立的标点恢复 HTTP 服务 |
3.2 流式 ASR 服务配置逐项解析
以默认的 ws_conformer_wenetspeech_application.yaml 为例,完整内容如下:
# This is the parameter configuration file for PaddleSpeech Serving.
#################################################################################
# SERVER SETTING #
#################################################################################
host: 0.0.0.0
port: 8090
# The task format in the engin_list is: <speech task>_<engine type>
# task choices = ['asr_online']
# protocol = ['websocket'] (only one can be selected).
# websocket only support online engine type.
protocol: 'websocket'
engine_list: ['asr_online']
#################################################################################
# ENGINE CONFIG #
#################################################################################
################################### ASR #########################################
################### speech task: asr; engine_type: online #######################
asr_online:
model_type: 'conformer_online_wenetspeech'
am_model: # the pdmodel file of am static model [optional]
am_params: # the pdiparams file of am static model [optional]
lang: 'zh'
sample_rate: 16000
cfg_path:
force_yes: True
device: 'cpu' # cpu or gpu:id
decode_method: "attention_rescoring"
continuous_decoding: True # enable continue decoding when endpoint detected
num_decoding_left_chunks: -1
am_predictor_conf:
device: # set 'gpu:id' or 'cpu'
switch_ir_optim: True
glog_info: False # True -> print glog
summary: True # False -> do not show predictor config
chunk_buffer_conf:
window_n: 7 # frame
shift_n: 4 # frame
window_ms: 25 # ms
shift_ms: 10 # ms
sample_rate: 16000
sample_width: 2
各核心参数的作用如下:
服务端全局设置(SERVER SETTING)
host:服务监听地址,默认0.0.0.0表示监听所有网卡,允许远程访问;port:服务监听端口,默认8090;protocol:通信协议,流式 ASR 必须为websocket;engine_list:引擎列表,格式为<speech task>_<engine type>,流式 ASR 对应的取值为['asr_online']。从配置注释可以看出,websocket 只支持在线(online)引擎类型。
ASR 引擎配置(ENGINE CONFIG / asr_online)
model_type:使用的模型类型,默认conformer_online_wenetspeech(即 WenetSpeech 语料训练的分块流式 Conformer 模型);application.yaml中则为conformer_u2pp_online_wenetspeech;am_model/am_params:静态图模型文件(.pdmodel/.pdiparams)的本地路径,留空时自动下载官方预训练模型,属于可选参数;lang:语言,默认zh;sample_rate:采样率,默认16000。客户端输入音频的采样率必须与模型一致(16kHz);cfg_path:模型配置路径,留空则使用默认;force_yes:是否强制确认下载模型,默认True;device:推理设备,默认'cpu',可改为'gpu:0'等(即gpu:id格式)实现 GPU 部署;decode_method:解码方式,默认"attention_rescoring"(注意力重打分,精度更高);continuous_decoding:是否启用连续解码,默认True,即检测到端点(endpoint)后继续对后续音频解码,而不是断开;num_decoding_left_chunks:解码时左侧上下文 chunk 数量,-1表示不限制(使用全部左侧历史);加速版配置将该值设为16,即只保留最近 16 个 chunk 作为左侧上下文,从而显著减少计算量、提高解码速度,代价是上下文信息减少、精度略有下降。这正是"faster"配置的核心差异。
推理器配置(am_predictor_conf)
device:推理器设备,可单独指定'gpu:id'或'cpu',留空时沿用外层device;switch_ir_optim:是否开启 IR 优化,默认True;glog_info:是否打印 glog 日志,默认False;summary:是否打印预测器配置摘要,默认True。
分块缓冲区配置(chunk_buffer_conf)
流式识别需要把连续的音频流切成一个个 chunk 送入模型,各参数含义为:
window_n:每窗的帧数,默认 7 帧;shift_n:窗移帧数,默认 4 帧;window_ms:窗长(毫秒),默认 25ms;shift_ms:帧移(毫秒),默认 10ms;sample_rate:采样率 16000;sample_width:采样位宽(字节数),默认 2(即 16bit PCM)。
ws_ds2_application.yaml(DeepSpeech2)额外增加了 ONNX Runtime 推理相关的 am_predictor_conf 参数,包括 graph_optimization_level(图优化级别)、intra_op_num_threads(节点内并行线程数)、inter_op_num_threads(节点间并行线程数)、log_severity_level(日志级别,0:Verbose 到 4:Fatal,默认 2)等,并需要 onnxruntime >= 1.11.0 环境。
3.3 准备测试音频
ASR 客户端的输入必须是 WAV 文件(.wav),且采样率必须与模型一致(16000)。官方提供了示例音频 zh.wav,可下载到当前目录:
wget -c https://paddlespeech.cdn.bcebos.com/PaddleAudio/zh.wav
四、启动流式 ASR 服务端
4.1 命令行方式(推荐)
在 PaddleSpeech/demos/streaming_asr_server 目录下执行:
# 启动默认配置的流式 ASR 服务
paddlespeech_server start --config_file ./conf/ws_conformer_wenetspeech_application.yaml
# 如果希望提高解码速度(以轻微精度损失为代价),使用加速版配置
paddlespeech_server start --config_file ./conf/ws_conformer_wenetspeech_application_faster.yaml
paddlespeech_server start 支持以下参数:
config_file:服务的 yaml 配置文件,默认./conf/application.yaml;log_file:日志文件,默认./log/paddlespeech.log。
注意:服务默认部署在 CPU 设备上,如需 GPU 部署,修改服务配置文件中的
device参数即可(例如device: 'gpu:0')。
启动成功的日志输出如下(节选):
[2022-05-14 04:56:13,086] [ INFO] - create the online asr engine instance
[2022-05-14 04:56:13,086] [ INFO] - paddlespeech_server set the device: cpu
[2022-05-14 04:56:13,087] [ INFO] - Load the pretrained model, tag = conformer_online_wenetspeech-zh-16k
[2022-05-14 04:56:17,542] [ INFO] - Use pretrained model stored in: /root/.paddlespeech/models/conformer_online_wenetspeech-zh-16k/asr1_chunk_conformer_wenetspeech_ckpt_1.0.0a.model.tar
[2022-05-14 04:56:17,852] [ INFO] - start to create the stream conformer asr engine
[2022-05-14 04:56:17,863] [ INFO] - model name: conformer_online
[2022-05-14 04:56:22,756] [ INFO] - create the transformer like model success
[2022-05-14 04:56:22,758] [ INFO] - Initialize ASR server engine successfully.
INFO: Started server process [4242]
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8090 (Press CTRL+C to quit)
日志清晰地展示了服务端启动链路:创建在线 ASR 引擎 → 设置设备为 cpu → 自动下载/加载预训练模型(存储在 ~/.paddlespeech/models/ 下)→ 创建流式 Conformer 引擎 → 初始化成功 → Uvicorn 在 http://0.0.0.0:8090 上监听。可以看到底层是基于 Uvicorn 启动的 WebSocket 服务。
4.2 Python API 方式
如果你更习惯在 Python 中编程启动服务,可以在 PaddleSpeech/demos/streaming_asr_server 目录下执行:
from paddlespeech.server.bin.paddlespeech_server import ServerExecutor
server_executor = ServerExecutor()
server_executor(
config_file="./conf/ws_conformer_wenetspeech_application_faster.yaml",
log_file="./log/paddlespeech.log")
其输出与命令行方式完全一致。实际上,本地脚本 local/streaming_asr_server.py 就是对这个 ServerExecutor 的薄封装:脚本通过 argparse 解析 --config_file 与 --log_file 两个参数(默认日志路径为 ./log/paddlespeech.log),随后调用 ServerExecutor() 并传入配置启动服务。这也印证了"命令行与 Python API 等价"的设计。
五、ASR 客户端调用
提示:客户端第一次调用时响应时间会略长(需要初始化 WebSocket 连接与解码器)。
5.1 命令行方式(推荐)
如果 127.0.0.1 不可访问(例如远程部署),需要使用实际的服务 IP 地址:
paddlespeech_client asr_online --server_ip 127.0.0.1 --port 8090 --input ./zh.wav
paddlespeech_client asr_online 支持以下参数:
| 参数 | 说明 | 默认值 |
|---|---|---|
server_ip |
服务 IP 地址 | 127.0.0.1 |
port |
服务端口 | 8090 |
input(必填) |
待识别的音频文件 | 无 |
sample_rate |
音频采样率 | 16000 |
lang |
语言 | "zh_cn" |
audio_format |
音频格式 | "wav" |
punc.server_ip |
标点服务 IP | None |
punc.server_port |
标点服务端口 | None |
运行后,客户端通过 WebSocket 持续发送音频分块,并实时打印服务端返回的增量识别结果:
[2022-05-06 21:10:35,598] [ INFO] - Start to do streaming asr client
[2022-05-06 21:10:35,600] [ INFO] - asr websocket client start
[2022-05-06 21:10:35,600] [ INFO] - endpoint: ws://127.0.0.1:8390/paddlespeech/asr/streaming
[2022-05-06 21:10:35,600] [ INFO] - start to process the wavscp: ./zh.wav
[2022-05-06 21:10:35,670] [ INFO] - client receive msg={"status": "ok", "signal": "server_ready"}
[2022-05-06 21:10:35,699] [ INFO] - client receive msg={'result': ''}
...
[2022-05-06 21:10:36,930] [ INFO] - client receive msg={'result': '我认为跑'}
...
[2022-05-06 21:10:44,827] [ INFO] - client final receive msg={'status': 'ok', 'signal': 'finished', 'result': '我认为跑步最重要的就是给我带来了身体健康', 'times': [{'w': '我', 'bg': 0.0, 'ed': 0.7000000000000001}, ...]}
[2022-05-06 21:10:44,827] [ INFO] - audio duration: 4.9968125, elapsed time: 9.225094079971313, RTF=1.846195765794957
[2022-05-06 21:10:44,828] [ INFO] - asr websocket client finished : 我认为跑步最重要的就是给我带来了身体健康
这份输出非常直观地体现了"流式"特性:识别结果从空字符串开始,随着音频不断推送逐步增长——'' → '我认为跑' → '我认为跑步最重要的' → ... → 最终完整结果 '我认为跑步最重要的就是给我带来了身体健康'。最后一条消息 signal: 'finished' 表示识别结束,同时携带每个字的起止时间(times 字段中每个 w/bg/ed 代表一个字的文本、开始时间与结束时间),以及统计信息:音频时长(audio duration)、耗时(elapsed time)和实时率 RTF(Real-Time Factor,RTF = 处理耗时 / 音频时长)。日志最后还会打印完整识别结果。
5.2 Python API 方式
from paddlespeech.server.bin.paddlespeech_client import ASROnlineClientExecutor
asrclient_executor = ASROnlineClientExecutor()
res = asrclient_executor(
input="./zh.wav",
server_ip="127.0.0.1",
port=8090,
sample_rate=16000,
lang="zh_cn",
audio_format="wav")
print(res)
输出同样会打印流式识别的中间过程,res 变量保存最终识别结果,直接 print 即可得到 '我认为跑步最重要的就是给我带来了身体健康' 这样的文本。
5.3 深入本地客户端脚本
本地脚本 local/websocket_client.py 展示了更完整的调用方式。核心逻辑为:
- 构造
ASRWsAudioHandler对象(来自paddlespeech.server.utils.audio_handler),传入server_ip、port、endpoint(默认/paddlespeech/asr/streaming)、标点服务地址等参数; - 通过
asyncio.get_event_loop().run_until_complete(handler.run(wavfile))驱动整个流式识别流程; - 除了支持单文件(
--wavfile)外,还支持批量识别(--wavscp):逐行读取wav.scp格式的文本(每行utt_name utt_path),逐个识别并把结果写入result.txt。
脚本中还给出了计算平均 RTF 的参考命令:
# 从日志中统计平均 RTF(非精确)
grep -rn RTF log.txt | awk '{print $NF}' | awk -F "=" '{sum += $NF} END {print "all time",sum, "audio num", NR, "RTF", sum/NR}'
六、标点恢复服务(Punctuation Service)
流式 ASR 输出的文本默认不带标点,而 PaddleSpeech 提供了独立的标点恢复服务来补充标点,让识别结果更适合阅读。标点服务走 HTTP 协议,其配置见 punc_application.yaml:protocol: 'http'、engine_list: ['text_python']、text_python.task: punc、模型为 ernie_linear_p3_wudao(基于 ERNIE 的中文标点预测模型),服务端口为 8190。
6.1 服务端启动
命令行方式,在 PaddleSpeech/demos/streaming_asr_server 目录执行:
paddlespeech_server start --config_file conf/punc_application.yaml
同样支持 config_file 与 log_file 两个参数。启动成功日志(节选):
[2022-05-02 17:59:26,285] [ INFO] - Create the TextEngine Instance
[2022-05-02 17:59:26,285] [ INFO] - Init the text engine
[2022-05-02 17:59:26,285] [ INFO] - Text Engine set the device: gpu:0
[2022-05-02 17:59:34,688] [ INFO] - Already cached /home/users/xiongxinlei/.paddlenlp/models/ernie-1.0/vocab.txt
[2022-05-02 17:59:34,701] [ INFO] - Init the text engine successfully
INFO: Uvicorn running on http://0.0.0.0:8190 (Press CTRL+C to quit)
注意日志中 Text Engine set the device: gpu:0 表明标点服务也支持通过修改 device 参数部署到 GPU。Python API 方式与 ASR 服务完全一致:
from paddlespeech.server.bin.paddlespeech_server import ServerExecutor
server_executor = ServerExecutor()
server_executor(
config_file="./conf/punc_application.yaml",
log_file="./log/paddlespeech.log")
6.2 客户端调用
命令行方式(127.0.0.1 不可访问时需替换为实际 IP):
paddlespeech_client text --server_ip 127.0.0.1 --port 8190 --input "我认为跑步最重要的就是给我带来了身体健康"
输出:
[2022-05-02 18:12:29,767] [ INFO] - The punc text: 我认为跑步最重要的就是给我带来了身体健康。
[2022-05-02 18:12:29,767] [ INFO] - Response time 0.096548 s.
可以看到文本末尾被正确地补上了句号。Python API 方式:
from paddlespeech.server.bin.paddlespeech_client import TextClientExecutor
textclient_executor = TextClientExecutor()
res = textclient_executor(
input="我认为跑步最重要的就是给我带来了身体健康",
server_ip="127.0.0.1",
port=8190,)
print(res)
输出即为带标点的文本:我认为跑步最重要的就是给我带来了身体健康。
七、流式 ASR 与标点服务联合使用
语音识别与标点预测是两条独立的服务链路,二者可以分别部署在不同 GPU 上(通过各自配置文件的 device 参数指定),再由客户端同时调用两个服务,实现"识别 + 标点"一体化输出。
7.1 同时启动两个服务
仓库提供了 server.sh 一键脚本,后台并行拉起标点服务与流式 ASR 服务:
bash server.sh
脚本内容实质上是:
paddlespeech_server start --config_file conf/punc_application.yaml &> punc.log &
paddlespeech_server start --config_file conf/ws_conformer_wenetspeech_application.yaml &> streaming_asr.log &
即流式 ASR 与标点服务分别通过配置文件部署(可配置到不同显卡),日志分别写入 punc.log 与 streaming_asr.log,方便排查问题。脚本中注释掉的 python3 local/punc_server.py --config_file ... 与 python3 local/streaming_asr_server.py --config_file ... 则是等价的脚本启动方式,进一步印证了两条启动路径的一致性。
7.2 命令行联合调用
paddlespeech_client asr_online --server_ip 127.0.0.1 --port 8090 --punc.server_ip 127.0.0.1 --punc.port 8190 --input ./zh.wav
即通过 --punc.server_ip 与 --punc.port 指定标点服务地址。此时客户端返回的流式结果会实时带上标点,例如:
[2022-05-07 11:21:48,459] [ INFO] - client receive msg={'result': '我认为,跑'}
[2022-05-07 11:21:49,935] [ INFO] - client receive msg={'result': '我认为,跑步最重要的。'}
[2022-05-07 11:22:03,035] [ INFO] - client final receive msg={'status': 'ok', 'signal': 'finished', 'result': '我认为跑步最重要的就是给我带来了身体健康。', 'times': [...]}
[2022-05-07 11:22:03,037] [ INFO] - 我认为跑步最重要的就是给我带来了身体健康。
对比"仅 ASR"的输出可以发现,联合调用下中间结果会实时追加标点('我认为,跑'、'我认为,跑步最重要的。'),最终结果以句号收尾,可读性大幅提升。
7.3 使用本地脚本调用
除了 paddlespeech_client,还可以直接运行仓库提供的 local/websocket_client.py:
python3 local/websocket_client.py --server_ip 127.0.0.1 --port 8090 --punc.server_ip 127.0.0.1 --punc.port 8190 --wavfile ./zh.wav
脚本支持 --wavfile(单文件)与 --wavscp(批量列表)两种输入方式,输出与命令行客户端一致。需要留意的是,脚本源码中 --punc.port 的默认值为 8091,而官方示例中标点服务端口为 8190,因此联合调用时建议显式指定 --punc.port 以匹配实际部署的标点服务端口。
八、从音频生成字幕文件(.srt)
在"流式 ASR + 标点"服务的基础上,仓库还提供了 local/websocket_client_srt.py,可以直接把一段音频(.wav 或 .mp3)转成带时间轴的字幕文件(.srt 格式),非常适合视频字幕、课堂录像等场景。
前置条件:
- 需要安装 ffmpeg(用于音频解码);
- 需要在
.../demos/streaming_asr_server/目录下运行脚本。
8.1 启动两个服务
先启动流式 ASR 服务:
paddlespeech_server start --config_file ./conf/ws_conformer_wenetspeech_application.yaml
再打开另一个终端启动标点服务:
paddlespeech_server start --config_file conf/punc_application.yaml
8.2 运行字幕生成脚本
python3 local/websocket_client_srt.py --server_ip 127.0.0.1 --port 8090 --punc.server_ip 127.0.0.1 --punc.port 8190 --wavfile ../../data/认知.mp3
运行日志(节选)展示了完整流程:
[2023-03-30 23:26:13,994] [ INFO] - asr websocket client start
[2023-03-30 23:26:13,994] [ INFO] - endpoint: http://127.0.0.1:8190/paddlespeech/text
[2023-03-30 23:26:13,994] [ INFO] - endpoint: ws://127.0.0.1:8090/paddlespeech/asr/streaming
[2023-03-30 23:26:14,475] [ INFO] - /home/fxb/PaddleSpeech-develop/data/认知.mp3 converted to /home/fxb/PaddleSpeech-develop/data/认知.wav
...
[2023-03-30 23:26:46,380] [ INFO] - client punctuation restored msg={'result': '第一部分是认知部分,该部分通过示意图和文本的形式向学生讲解主要传感器的工作原理,...'}
[2023-03-30 23:27:01,059] [ INFO] - client final receive msg={'status': 'ok', 'signal': 'finished', 'result': '...提升学生对实训的兴趣以及意义感。', 'times': [...]}
[2023-03-30 23:27:01,060] [ INFO] - audio duration: 26.04, elapsed time: 46.581613540649414, RTF=1.7888484462614982
sentences: ['第一部分是认知部分', '该部分通过示意图和文本的形式向学生讲解主要传感器的工作原理', ...]
relative_times: [[0.0, 2.1], [2.1, 8.06], ...]
[2023-03-30 23:27:01,076] [ INFO] - results saved to /home/fxb/PaddleSpeech-develop/data/认知.srt
日志清晰展示了三个关键阶段:
- 音频格式转换:脚本先用
pydub的AudioSegment把 mp3 转为 16kHz 单声道的 wav(对应源码中的convert_to_wav函数,它设置set_channels(1)与set_frame_rate(16000)); - 流式识别 + 标点恢复:同时连接 ASR 的 WebSocket 端点与标点的 HTTP 端点,实时输出增量结果;
- 生成 .srt 字幕:脚本根据最终结果的
times字段(每字起止时间)按,/。切分句子(对应源码中的results2srt函数,使用re.split(',|。', result)),计算每个句子的起止时间(relative_times),再用format_time格式化为HH:MM:SS,mmm的标准 SRT 时间轴,最终把结果保存为与输入同名的.srt文件。
九、浏览器网页 Demo:实时录音识别
除了命令行与 Python API,本 Demo 还附带了一个网页版实时识别页面 demos/streaming_asr_server/web/index.html,其使用步骤记录在 web/readme.md 中:
-
开启流式语音识别服务端:
cd PaddleSpeech/demos/streaming_asr_server paddlespeech_server start --config_file conf/ws_conformer_wenetspeech_application_faster.yaml -
用 Chrome 等浏览器打开
web目录下的index.html; -
点击"连接",验证 WebSocket 是否成功连接(地址形如
ws://127.0.0.1:8090/paddlespeech/asr/streaming); -
点击"开始录音"(浏览器会弹出麦克风权限询问,需允许),即可边说话边在"识别结果"区域看到实时返回的文本。
页面底部的 WebSocket 连接地址 ws://127.0.0.1:8090/paddlespeech/asr/streaming 与客户端脚本中的默认 endpoint(/paddlespeech/asr/streaming)完全一致,说明网页端与命令行/脚本客户端走的是同一条 WebSocket 识别通道,仅是交互形态不同。
十、测试与性能参考
仓库在 demos/streaming_asr_server/test.sh 提供了测试脚本,并提供了 local/rtf_from_log.py 用于从日志中统计 RTF。RTF(Real-Time Factor,实时率)是衡量流式识别性能的核心指标:RTF < 1 表示处理速度高于音频播放速度,可以支撑实时场景;RTF > 1 则表示处理慢于音频时长。官方文档的示例日志中,5 秒左右的 zh.wav 在纯 ASR 场景下 RTF 约为 1.8,联合标点服务后因多了一次 HTTP 往返,RTF 会有所上升——这些数值仅用于参考,实际表现取决于 CPU/GPU 算力、num_decoding_left_chunks 设置与并发负载。
十一、总结
本文以 demos/streaming_asr_server/README.md 为主线,完整梳理了 PaddleSpeech 流式语音识别服务的部署与调用链路:
- 服务端:
paddlespeech_server start --config_file或ServerExecutor启动,底层基于 Uvicorn + WebSocket; - 客户端:
paddlespeech_client asr_online或ASROnlineClientExecutor,实时输出增量识别结果,并携带逐字时间戳与 RTF 统计; - 标点服务:独立的 HTTP 服务(
paddlespeech_client text),可为 ASR 结果实时补充标点; - 联合调用:通过
--punc.server_ip/--punc.port参数一次拿到"带标点的流式识别结果"; - 字幕生成:
websocket_client_srt.py可将 wav/mp3 直接转为 .srt 字幕文件; - 网页演示:
web/index.html提供浏览器实时录音识别体验。
所有关键配置(采样率 16000、chunk 窗口参数、解码 chunk 数、设备选择等)均可在 conf 目录 下的 yaml 文件中调整,相关脚本源码则位于 local 目录,建议读者结合实际场景在仓库中进一步探索。
