pika_migrate 网络层 protobuf 性能压测指南:基于 net 库的 server/client 基准测试工具

原创2026-10-09 20:40:341,843 阅读
文章标签:数据库KV存储后端主从复制数据同步OpenAtom

pika_migrate 网络层 protobuf 性能压测指南:基于 net 库的 server/client 基准测试工具

导读

本文讲解 pika_migrate 工具内嵌的 net 网络库自带的性能基准测试示例(位于 tools/pika_migrate/src/net/examples/performance)。该示例由 server 与 client 两个可执行程序组成,用于测量基于 protobuf 协议的自研网络框架在单连接乃至多连接并发场景下的吞吐上限。读完本文,你将掌握该压测工具的编译方法、服务端与客户端的启动命令、QPS 统计输出的解读方式,以及底层基于「4 字节长度头 + protobuf 消息体」的协议帧格式与多线程调度模型的实现原理。

一、示例概览:压测工具包含哪些文件

该性能压测示例共包含 4 个文件,结构非常精简:

文件 作用
README.md 官方使用说明(本文主体)
server.cc 服务端程序,基于 PbConn 处理 protobuf 请求并统计 QPS
client.cc 客户端程序,基于 PbCli 持续发送 Ping 请求并接收 Pong 回复
message.proto 压测消息定义:Ping(请求)与 Pong(响应)

从源码结构看(CMakeLists.txt),该示例被组织为 net 库的独立编译目标,与 net、pstd、storage、glog、gflags、protobuf 等库链接。编译完成后会得到两个可执行程序:server 与 client。这也是原文档给出的全部编译产物。

二、编译构建

原文档指出「after compiler you will get two executable program server and client」(编译后将得到 server 与 client 两个可执行程序)。结合 CMakeLists.txt 可以看到其构建要点:

  • 使用 aux_source_directory(../src DIR_SRCS) 将 net 库源码纳入编译;
  • 通过 file(GLOB ... *.proto) 收集 message.proto,并调用 custom_protobuf_generate_cpp 生成 protobuf 的 C++ 代码(message.pb.cc / message.pb.h);
  • 对 examples/performance/*.cc 中的每个源文件生成同名可执行目标,因此 server.cc 对应 server、client.cc 对应 client;
  • 目标依赖并链接 net、pstd、storage、protobuf、glog、gflags、libunwind 与 pthread。

实际构建时,随 pika_migrate 主工程一起执行 CMake 配置与编译,即可在构建目录下找到 server 与 client 两个二进制文件(由于目标带有 EXCLUDE_FROM_ALL 标记,也可以显式指定构建这两个目标)。

三、启动服务端 server

原文档给出的服务端启动命令为:

./server 127.0.0.1(you ip) port(listen port)

即两个参数:

  1. 监听 IP(如 127.0.0.1,也可为本机对外网卡地址);
  2. 监听端口(服务端在该端口上 accept 客户端连接)。

在 server.cc 的 main 函数中,参数少于 2 个时会打印 Usage: ./server ip port 并退出,随后:

  • 创建 PingConnFactory 连接工厂;
  • 调用 SignalSetup() 屏蔽 SIGHUP、SIGPIPE,并为 SIGINT、SIGQUIT、SIGTERM 注册停止信号;
  • 通过 NewDispatchThread(ip, port, 24, &conn_factory, 1000) 创建 DispatchThread 模式的服务线程(见 server_thread.h),其中 24 是工作线程(worker)数量,1000 是 cron 定时任务的间隔(毫秒),1000(第 6 个可选参数未给出,取默认值)是 worker 连接队列上限。

服务端每秒钟的 QPS 统计输出

服务端主循环每秒输出一次压测进度(server.cc):

num 123456
mmap cost time microsecond(us) 1000123
average qps 123456.000000
  • num:从启动到当前累计处理的请求总数(static atomic<int> num 由所有连接共享计数);
  • mmap cost time microsecond(us):本轮统计耗时(微秒),即两次输出之间的时间差,由 NowMicros() 基于 gettimeofday 计算(server.cc);
  • average qps:本秒平均吞吐,计算公式为 (num.load() - prv) / (耗时秒数),即相邻两次采样之间新增请求数除以采样间隔。

当收到 SIGINT / SIGTERM 等信号后,should_stop 置为 true,主循环退出并调用 st_thread->StopThread() 优雅关闭。

服务端如何处理一条请求

服务端每收到一个连接都会创建 PingConn(继承自 PbConn),其核心逻辑在 DealMessage()(server.cc):

  1. 全局原子计数 num++;
  2. 用 request_.ParseFromArray 从读缓冲解析出 Ping 消息;
  3. 构造 Pong 响应,内容为 "hello " + request_.ping();
  4. 调用 set_is_reply(true) 标记本连接有待写出的回复。

PingConnFactory::NewNetConn(server.cc)负责把已 accept 的 socket 包装为 PingConn,这正是 net 库中 ConnFactory 抽象的标准用法。

四、启动压测客户端 client

原文档给出的客户端启动命令为:

./client 127.0.0.1(server ip) port(sever port)

参数含义:

  1. 服务端 IP(即 server 监听的地址);
  2. 服务端端口(与 server 启动参数中的端口一致)。

在 client.cc 中,客户端的行为是:

  • 参数不足 3 个(程序名 + ip + port)时打印 Usage: ./client ip port 并退出;
  • 通过 NewPbCli()(pb_cli.cc)创建基于 protobuf 的客户端 NetCli,并调用 Connect(ip, port) 与服务端建立 TCP 连接;
  • 进入一个上限为 1 亿次的循环:构造 Ping 消息(msg.set_ping("ping"))→ Send 发送 → Recv 阻塞接收 Pong 回复 → 继续下一轮;
  • 若 Send 或 Recv 失败(连接断开、超时等),打印错误信息并 break 退出;
  • 循环结束后调用 cli->Close() 关闭连接。

注意:客户端是单连接、同步请求-响应模型——每发一条 Ping 必须等收到 Pong 才会发下一条。因此单个 client 只能测出单连接上的往返吞吐。

为什么需要 10~20 个客户端并发压测

原文档明确说明:

since there should be many clients to get the net's performance limitation, so in our case, we will always have 10~20 client to pressure measure server

由于单个客户端是串行请求模型,单连接远不足以打满服务端多线程处理能力。要逼近网络层的性能上限,需要同时启动 10~20 个(甚至更多)客户端进程,每个 client 各占一条 TCP 连接并持续发 Ping/收 Pong,才能让服务端的多个 worker 线程充分并发工作。压测期间,服务端每秒输出的 average qps 即为系统在这些并发连接下的综合吞吐指标。

实际压测时,可以把多个客户端放在终端或脚本中并行启动,例如:

# 终端 1:启动服务端
./server 127.0.0.1 9221

# 终端 2~N:并行启动 10~20 个客户端
./client 127.0.0.1 9221
./client 127.0.0.1 9221
# ...

五、底层原理一:Ping/Pong 协议与 protobuf 帧格式

消息定义

message.proto 定义了压测用的两条消息,均为单字段字符串:

message Ping {
  required string ping = 1;
}

message Pong {
  required string pong = 1;
}

线缆上的帧格式

net 库对 protobuf 消息的封装并非直接裸发,而是在消息体前加 4 字节网络序大端长度头(COMMAND_HEADER_LENGTH = 4,见 net_define.h),形成 [ 4字节长度 | protobuf 消息体 ] 的帧结构:

  • 客户端发送侧(pb_cli.cc):PbCli::Send 先把消息 SerializeToArray 序列化到 wbuf_ 偏移 4 字节处,再用 htonl 将消息长度写入头部,最后整体 SendRaw 写出;
  • 服务端接收侧(pb_conn.cc):PbConn::GetRequest 是一个两阶段状态机——kHeader 阶段先读满 4 字节头部并 ntohl 还原出 header_len_,kPacket 阶段按长度读消息体,kComplete 阶段调用业务层 DealMessage() 完成解析与响应构造;
  • 服务端回复侧(pb_conn.cc):WriteResp 通过 BuildInternalTag 生成同样的 4 字节长度头,与序列化后的 Pong 一起写入发送队列。

这套「长度头 + protobuf 消息体」的封装,解决了 protobuf 流式传输中的分包/粘包问题:接收方必须先读 4 字节得知本次消息长度,再按长度精确读取消息体,保证每条消息边界清晰。

读缓冲区的扩容与收缩

为保证大消息可读,PbConn 初始读缓冲为 PB_IOBUF_LEN(64MB,见 net_define.h),单条消息上限 kProtoMaxMessage 为 512MB(net_define.h)。当消息体超过当前缓冲时,GetRequest 会 realloc 扩容;当连接空闲或利用率低时,TryResizeBuffer 会回收多余内存(pb_conn.cc)。压测场景下的 Ping/Pong 消息极小,缓冲区会长期停留在初始大小,这正是该工具聚焦于「网络层极限吞吐」而非「大消息处理」的体现。

六、底层原理二:客户端连接的建立与收发

客户端 Connect 的实现位于 net_cli.cc,值得注意的实现细节包括:

  • 仅支持 IPv4(hints.ai_family = AF_INET);
  • 采用非阻塞 connect + poll 等待的方式建立连接,默认连接超时为 1000ms(connect_timeout{1000});
  • 连接成功后调用 set_tcp_nodelay() 设置 TCP_NODELAY,关闭 Nagle 算法,降低小包(Ping/Pong)延迟——这对压测场景至关重要;
  • 提供 set_send_timeout / set_recv_timeout 设置收发超时(底层为 SO_SNDTIMEO / SO_RCVTIMEO)。

发送与接收均为阻塞式全量读写(SendRaw / RecvRaw,见 net_cli.cc):循环处理 EINTR 重试、EAGAIN/EWOULDBLOCK 超时、对端关闭等边界情况,确保要么完整发送/接收 count 字节,要么返回明确的 Status 错误。

客户端 PbCli::Recv(pb_cli.cc)与服务端状态机对称:先 RecvRaw 读 4 字节头部得到 packet_len,再 RecvRaw 读消息体,最后 ParseFromArray 解析出 Pong。解析失败会返回 Status::Corruption 错误,主循环随即终止。

七、底层原理三:服务端多线程调度模型

服务端使用 NewDispatchThread 创建的是 Dispatch(分发)模式的线程架构(server_thread.h):

  1. 一个 Dispatch 线程负责 accept 新连接并监听所有连接上的事件;
  2. 新连接根据调度策略被分发(dispatch)到多个 Worker 工作线程;
  3. 每个 Worker 独立执行各自连接上的读写与 DealMessage() 业务逻辑,从而并发处理多个客户端。

压测示例中 NewDispatchThread(ip, port, 24, &conn_factory, 1000) 的 24 即工作线程数,queue_limit(默认 1000)则限制每个 Worker 连接队列的容量,防止单线程堆积过多连接。

这种「单分发线程 + 多工作线程」的模型,正是原文档强调「需要 10~20 个客户端才能打满网络性能」的架构原因:只有足够的并发连接,才能让 24 个 Worker 都处于忙碌状态,从而测出框架的真实吞吐上限。需要说明的是,示例中的 24 是一个写死的默认值,如需针对特定机器核数调优,可直接修改 server.cc 中的该参数后重新编译。

八、压测结果的解读与使用建议

结合服务端每秒的 average qps 输出,可以从以下几个维度判断网络层健康状况:

  • 单客户端(1 条连接):测出的是单连接往返延迟与吞吐,若 QPS 偏低,应优先排查 TCP_NODELAY 是否生效、网络 RTT、客户端是否处于瓶颈;
  • 多客户端(10~20 条连接):测出的是服务端多线程并发处理能力,若 QPS 不随客户端数量增长,说明服务端 worker 数或机器资源(CPU 核数、网卡)已到上限;
  • 长时间稳定运行:观察 num 是否线性增长、是否有 Send failed / Recv failed 输出;一旦出现错误打印即说明连接被异常关闭,需检查服务端日志与连接保活配置。

从源码结构看(pb_conn.cc 的状态机实现),该压测工具覆盖了 protobuf 帧解析、缓冲扩容、半包处理、并发多连接等网络层核心路径,因此其测得的 QPS 也间接验证了 net 框架在 pika_migrate 数据迁移场景中作为底层通信组件的可靠性。

相关资源

登录后查看全文
pika