pika_migrate 网络层 protobuf 性能压测指南:基于 net 库的 server/client 基准测试工具
pika_migrate 网络层 protobuf 性能压测指南:基于 net 库的 server/client 基准测试工具
导读
本文讲解 pika_migrate 工具内嵌的 net 网络库自带的性能基准测试示例(位于 tools/pika_migrate/src/net/examples/performance)。该示例由 server 与 client 两个可执行程序组成,用于测量基于 protobuf 协议的自研网络框架在单连接乃至多连接并发场景下的吞吐上限。读完本文,你将掌握该压测工具的编译方法、服务端与客户端的启动命令、QPS 统计输出的解读方式,以及底层基于「4 字节长度头 + protobuf 消息体」的协议帧格式与多线程调度模型的实现原理。
一、示例概览:压测工具包含哪些文件
该性能压测示例共包含 4 个文件,结构非常精简:
| 文件 | 作用 |
|---|---|
| README.md | 官方使用说明(本文主体) |
| server.cc | 服务端程序,基于 PbConn 处理 protobuf 请求并统计 QPS |
| client.cc | 客户端程序,基于 PbCli 持续发送 Ping 请求并接收 Pong 回复 |
| message.proto | 压测消息定义:Ping(请求)与 Pong(响应) |
从源码结构看(CMakeLists.txt),该示例被组织为 net 库的独立编译目标,与 net、pstd、storage、glog、gflags、protobuf 等库链接。编译完成后会得到两个可执行程序:server 与 client。这也是原文档给出的全部编译产物。
二、编译构建
原文档指出「after compiler you will get two executable program server and client」(编译后将得到 server 与 client 两个可执行程序)。结合 CMakeLists.txt 可以看到其构建要点:
- 使用
aux_source_directory(../src DIR_SRCS)将 net 库源码纳入编译; - 通过
file(GLOB ... *.proto)收集message.proto,并调用custom_protobuf_generate_cpp生成 protobuf 的 C++ 代码(message.pb.cc/message.pb.h); - 对
examples/performance/*.cc中的每个源文件生成同名可执行目标,因此server.cc对应server、client.cc对应client; - 目标依赖并链接
net、pstd、storage、protobuf、glog、gflags、libunwind与pthread。
实际构建时,随 pika_migrate 主工程一起执行 CMake 配置与编译,即可在构建目录下找到 server 与 client 两个二进制文件(由于目标带有 EXCLUDE_FROM_ALL 标记,也可以显式指定构建这两个目标)。
三、启动服务端 server
原文档给出的服务端启动命令为:
./server 127.0.0.1(you ip) port(listen port)
即两个参数:
- 监听 IP(如
127.0.0.1,也可为本机对外网卡地址); - 监听端口(服务端在该端口上 accept 客户端连接)。
在 server.cc 的 main 函数中,参数少于 2 个时会打印 Usage: ./server ip port 并退出,随后:
- 创建
PingConnFactory连接工厂; - 调用
SignalSetup()屏蔽SIGHUP、SIGPIPE,并为SIGINT、SIGQUIT、SIGTERM注册停止信号; - 通过
NewDispatchThread(ip, port, 24, &conn_factory, 1000)创建 DispatchThread 模式的服务线程(见 server_thread.h),其中24是工作线程(worker)数量,1000是 cron 定时任务的间隔(毫秒),1000(第 6 个可选参数未给出,取默认值)是 worker 连接队列上限。
服务端每秒钟的 QPS 统计输出
服务端主循环每秒输出一次压测进度(server.cc):
num 123456
mmap cost time microsecond(us) 1000123
average qps 123456.000000
num:从启动到当前累计处理的请求总数(static atomic<int> num由所有连接共享计数);mmap cost time microsecond(us):本轮统计耗时(微秒),即两次输出之间的时间差,由NowMicros()基于gettimeofday计算(server.cc);average qps:本秒平均吞吐,计算公式为(num.load() - prv) / (耗时秒数),即相邻两次采样之间新增请求数除以采样间隔。
当收到 SIGINT / SIGTERM 等信号后,should_stop 置为 true,主循环退出并调用 st_thread->StopThread() 优雅关闭。
服务端如何处理一条请求
服务端每收到一个连接都会创建 PingConn(继承自 PbConn),其核心逻辑在 DealMessage()(server.cc):
- 全局原子计数
num++; - 用
request_.ParseFromArray从读缓冲解析出Ping消息; - 构造
Pong响应,内容为"hello " + request_.ping(); - 调用
set_is_reply(true)标记本连接有待写出的回复。
PingConnFactory::NewNetConn(server.cc)负责把已 accept 的 socket 包装为 PingConn,这正是 net 库中 ConnFactory 抽象的标准用法。
四、启动压测客户端 client
原文档给出的客户端启动命令为:
./client 127.0.0.1(server ip) port(sever port)
参数含义:
- 服务端 IP(即 server 监听的地址);
- 服务端端口(与 server 启动参数中的端口一致)。
在 client.cc 中,客户端的行为是:
- 参数不足 3 个(程序名 + ip + port)时打印
Usage: ./client ip port并退出; - 通过
NewPbCli()(pb_cli.cc)创建基于 protobuf 的客户端NetCli,并调用Connect(ip, port)与服务端建立 TCP 连接; - 进入一个上限为 1 亿次的循环:构造
Ping消息(msg.set_ping("ping"))→Send发送 →Recv阻塞接收Pong回复 → 继续下一轮; - 若
Send或Recv失败(连接断开、超时等),打印错误信息并break退出; - 循环结束后调用
cli->Close()关闭连接。
注意:客户端是单连接、同步请求-响应模型——每发一条 Ping 必须等收到 Pong 才会发下一条。因此单个 client 只能测出单连接上的往返吞吐。
为什么需要 10~20 个客户端并发压测
原文档明确说明:
since there should be many clients to get the net's performance limitation, so in our case, we will always have 10~20 client to pressure measure server
由于单个客户端是串行请求模型,单连接远不足以打满服务端多线程处理能力。要逼近网络层的性能上限,需要同时启动 10~20 个(甚至更多)客户端进程,每个 client 各占一条 TCP 连接并持续发 Ping/收 Pong,才能让服务端的多个 worker 线程充分并发工作。压测期间,服务端每秒输出的 average qps 即为系统在这些并发连接下的综合吞吐指标。
实际压测时,可以把多个客户端放在终端或脚本中并行启动,例如:
# 终端 1:启动服务端
./server 127.0.0.1 9221
# 终端 2~N:并行启动 10~20 个客户端
./client 127.0.0.1 9221
./client 127.0.0.1 9221
# ...
五、底层原理一:Ping/Pong 协议与 protobuf 帧格式
消息定义
message.proto 定义了压测用的两条消息,均为单字段字符串:
message Ping {
required string ping = 1;
}
message Pong {
required string pong = 1;
}
线缆上的帧格式
net 库对 protobuf 消息的封装并非直接裸发,而是在消息体前加 4 字节网络序大端长度头(COMMAND_HEADER_LENGTH = 4,见 net_define.h),形成 [ 4字节长度 | protobuf 消息体 ] 的帧结构:
- 客户端发送侧(pb_cli.cc):
PbCli::Send先把消息SerializeToArray序列化到wbuf_偏移 4 字节处,再用htonl将消息长度写入头部,最后整体SendRaw写出; - 服务端接收侧(pb_conn.cc):
PbConn::GetRequest是一个两阶段状态机——kHeader阶段先读满 4 字节头部并ntohl还原出header_len_,kPacket阶段按长度读消息体,kComplete阶段调用业务层DealMessage()完成解析与响应构造; - 服务端回复侧(pb_conn.cc):
WriteResp通过BuildInternalTag生成同样的 4 字节长度头,与序列化后的Pong一起写入发送队列。
这套「长度头 + protobuf 消息体」的封装,解决了 protobuf 流式传输中的分包/粘包问题:接收方必须先读 4 字节得知本次消息长度,再按长度精确读取消息体,保证每条消息边界清晰。
读缓冲区的扩容与收缩
为保证大消息可读,PbConn 初始读缓冲为 PB_IOBUF_LEN(64MB,见 net_define.h),单条消息上限 kProtoMaxMessage 为 512MB(net_define.h)。当消息体超过当前缓冲时,GetRequest 会 realloc 扩容;当连接空闲或利用率低时,TryResizeBuffer 会回收多余内存(pb_conn.cc)。压测场景下的 Ping/Pong 消息极小,缓冲区会长期停留在初始大小,这正是该工具聚焦于「网络层极限吞吐」而非「大消息处理」的体现。
六、底层原理二:客户端连接的建立与收发
客户端 Connect 的实现位于 net_cli.cc,值得注意的实现细节包括:
- 仅支持 IPv4(
hints.ai_family = AF_INET); - 采用非阻塞 connect + poll 等待的方式建立连接,默认连接超时为 1000ms(
connect_timeout{1000}); - 连接成功后调用
set_tcp_nodelay()设置TCP_NODELAY,关闭 Nagle 算法,降低小包(Ping/Pong)延迟——这对压测场景至关重要; - 提供
set_send_timeout/set_recv_timeout设置收发超时(底层为SO_SNDTIMEO/SO_RCVTIMEO)。
发送与接收均为阻塞式全量读写(SendRaw / RecvRaw,见 net_cli.cc):循环处理 EINTR 重试、EAGAIN/EWOULDBLOCK 超时、对端关闭等边界情况,确保要么完整发送/接收 count 字节,要么返回明确的 Status 错误。
客户端 PbCli::Recv(pb_cli.cc)与服务端状态机对称:先 RecvRaw 读 4 字节头部得到 packet_len,再 RecvRaw 读消息体,最后 ParseFromArray 解析出 Pong。解析失败会返回 Status::Corruption 错误,主循环随即终止。
七、底层原理三:服务端多线程调度模型
服务端使用 NewDispatchThread 创建的是 Dispatch(分发)模式的线程架构(server_thread.h):
- 一个 Dispatch 线程负责
accept新连接并监听所有连接上的事件; - 新连接根据调度策略被分发(dispatch)到多个 Worker 工作线程;
- 每个 Worker 独立执行各自连接上的读写与
DealMessage()业务逻辑,从而并发处理多个客户端。
压测示例中 NewDispatchThread(ip, port, 24, &conn_factory, 1000) 的 24 即工作线程数,queue_limit(默认 1000)则限制每个 Worker 连接队列的容量,防止单线程堆积过多连接。
这种「单分发线程 + 多工作线程」的模型,正是原文档强调「需要 10~20 个客户端才能打满网络性能」的架构原因:只有足够的并发连接,才能让 24 个 Worker 都处于忙碌状态,从而测出框架的真实吞吐上限。需要说明的是,示例中的 24 是一个写死的默认值,如需针对特定机器核数调优,可直接修改 server.cc 中的该参数后重新编译。
八、压测结果的解读与使用建议
结合服务端每秒的 average qps 输出,可以从以下几个维度判断网络层健康状况:
- 单客户端(1 条连接):测出的是单连接往返延迟与吞吐,若 QPS 偏低,应优先排查
TCP_NODELAY是否生效、网络 RTT、客户端是否处于瓶颈; - 多客户端(10~20 条连接):测出的是服务端多线程并发处理能力,若 QPS 不随客户端数量增长,说明服务端 worker 数或机器资源(CPU 核数、网卡)已到上限;
- 长时间稳定运行:观察
num是否线性增长、是否有Send failed/Recv failed输出;一旦出现错误打印即说明连接被异常关闭,需检查服务端日志与连接保活配置。
从源码结构看(pb_conn.cc 的状态机实现),该压测工具覆盖了 protobuf 帧解析、缓冲扩容、半包处理、并发多连接等网络层核心路径,因此其测得的 QPS 也间接验证了 net 框架在 pika_migrate 数据迁移场景中作为底层通信组件的可靠性。
相关资源
- 使用说明原文:tools/pika_migrate/src/net/examples/performance/README.md
- 服务端实现:tools/pika_migrate/src/net/examples/performance/server.cc
- 客户端实现:tools/pika_migrate/src/net/examples/performance/client.cc
- 消息定义:tools/pika_migrate/src/net/examples/performance/message.proto
- 构建配置:tools/pika_migrate/src/net/examples/performance/CMakeLists.txt
- 连接抽象与协议帧:net_cli.h、pb_cli.cc、pb_conn.cc、net_define.h
- 服务端线程模型:server_thread.h