FrameworkBenchmarks 中 C++ reactor 框架的 plaintext 基准测试实现解析

原创2026-10-14 19:56:271,937 阅读
文章标签:性能测试测试质量保障后端示例工程Web框架

FrameworkBenchmarks 中 C++ reactor 框架的 plaintext 基准测试实现解析

导读

本文以 FrameworkBenchmarks 仓库中 frameworks/C++/reactor/README.md 为核心,剖析 reactor —— 一个"高性能、轻量级、I/O 事件驱动的 C++ 网络框架"——是如何接入 TechEmpower Web 框架基准测试的。通过阅读本文,你将掌握 reactor 在 TFB 中的测试入口配置、/plaintext 路由的手工实现技巧、Docker 构建与运行方式,以及 TFB 工具链对该测试的验证与压测流程。

reactor 与 TFB 基准测试概览

TechEmpower Framework Benchmarks(TFB)是一个对比各语言、各 Web 开发平台性能的基准测试套件。reactor 是其中的 C++ 参赛者之一,其定位在 README 中被描述为:

"reactor is a high-performance, lightweight, i/o event-driven network framework in c++."

在 TFB 术语中,reactor 的测试分类被标记为 "Platform"(平台级),意味着它直接基于事件驱动网络框架开发,而非基于完整 Web 框架。仓库中与 reactor 相关的核心文件只有四个:

本实现只参与 plaintext(纯文本) 一项测试,测试 URL 为:

http://localhost:8080/plaintext

测试元数据配置:benchmark_config.json 与 config.toml

TFB 通过 benchmark_config.json 描述每个框架的测试属性。reactor 的配置如下:

{
  "framework": "reactor",
  "tests": [{
    "default": {
      "plaintext_url": "/plaintext",
      "port": 8080,
      "approach": "Stripped",
      "classification": "Platform",
      "database": "None",
      "framework": "reactor",
      "language": "C++",
      "flavor": "None",
      "orm": "Raw",
      "platform": "None",
      "webserver": "None",
      "os": "Linux",
      "database_os": "Linux",
      "display_name": "Reactor",
      "notes": "",
      "versus": "c++"
    }
  }]
}

各字段含义及对性能测试的影响:

字段 值 说明
approach Stripped 采用去除通用中间层的"剥离式"实现,最大限度减少框架开销
classification Platform 归类为平台级(直接使用网络框架),而非 Fullstack 框架
database / orm None / Raw 不访问数据库,不使用 ORM
webserver / platform None 不借助独立 Web 服务器与平台层,应用直接监听端口
port 8080 服务监听端口,与 README 中的测试 URL 一致
plaintext_url /plaintext 参与 plaintext 测试的唯一路由

仓库同时维护了 TOML 格式的等价配置 config.toml,其中 [main] 段与 JSON 一一对应(urls.plaintext、approach、classification、versus 等),供工具链读取。

服务端实现:techempower.cpp 逐段拆解

techempower.cpp 是全部业务逻辑所在,只有约 120 行,体现了"Stripped"的极简思路。它依赖 reactor 框架头文件:src/reactor.h、src/io_handle.h、src/acceptor.h、src/options.h、src/poll_sync_opt.h。

1. 预置响应常量:零分配构建响应

const char httpheaders1[] = "HTTP/1.1 200 OK\r\nConnection: keep-alive\r\nServer: goev\r\nContent-Type: text/plain\r\nDate: ";
const char httpheaders2[] = "\r\nContent-Length: 13\r\n\r\nHello, World!";

响应被拆成两段常量,Date 头部单独插入,Content-Length: 13 与正文 Hello, World! 硬编码。这样响应报文完全由编译期常量拼接而成,运行期没有任何字符串格式化或分配。

2. http 连接处理类:事件驱动核心

http 类继承自 io_handle,实现三个虚函数:

  • on_open():连接建立时调用,通过 conn_reactor->add_ev_handler(this, this->get_fd(), ev_handler::ev_read) 将 socket 注册到 poller 的事件循环中。源码注释特别提示"add_ev_handler 尽量放在最后,因为 on_open 和 on_read 可能不在同一个线程",这是 reactor 多线程 poller 模型下的并发注意事项;注册失败时打印 strerror(errno) 并返回 false 关闭连接。
  • on_read():收到请求数据时调用。recv 返回 0 表示对端关闭,返回负数则跳过本次处理;随后用 strstr(buf, "\r\n\r\n") 检查是否收到完整的 HTTP 请求头。确认完整后,直接在接收缓冲区原址依次 memcpy 写入 httpheaders1、缓存的 Date 字符串和 httpheaders2,最后 this->send(buf, writen) 一次写出——全程复用缓冲区、无额外分配。
  • on_close():连接关闭时调用 this->destroy() 释放资源。

连接对象由工厂函数 gen_http() 每次 new 一个 http 实例,交给 acceptor 创建。

3. Date 头的跨线程同步缓存

TFB 的 plaintext 校验要求 Date 头符合 RFC 格式且不能是缓存死的固定值(验证器会间隔请求比对 Date 是否变化)。reactor 的解法是每秒刷新一次 Date 并同步到所有 poller 线程:

void sync_date(bool init) {
    struct timeval now;
    gettimeofday(&now, NULL);
    struct tm tmv;
    ::localtime_r(&(now.tv_sec), &tmv);
    char dates[32] = {0};
    ::strftime(dates, 32, "%a, %d %b %Y %H:%M:%S GMT", &tmv);
    // 为每个 poller 生成一份缓存副本
    for (int i = 0; i < conn_reactor->get_poller_num(); ++i) {
        char *ds = new char[32]{0};
        ::strcpy(ds, dates);
        poll_sync_opt::sync_cache *arg = new poll_sync_opt::sync_cache();
        arg->id = pcache_data_t;
        arg->value = ds;
        arg->free_func = release_dates;
        args[i] = arg;
    }
    // init 时用 init_poll_sync_opt 初始化缓存,之后用 poll_sync_opt 同步
    if (init) conn_reactor->init_poll_sync_opt(poll_sync_opt::sync_cache_t, args);
    else      conn_reactor->poll_sync_opt(poll_sync_opt::sync_cache_t, args);
}

pcache_data_t = 1 作为缓存条目 ID。on_read 中通过 this->poll_cache_get(pcache_data_t) 取出当前线程的 Date 副本,随响应一并发送。后台线程 sync_date_timing() 每 1 秒调用 sync_date(false) 刷新一次,既保证了日期新鲜度,又避免了每个请求都调用 gettimeofday/strftime 的开销。

4. main 函数:启动流程

options opt;
opt.set_cpu_affinity = true;
if (argc > 1) opt.poller_num = atoi(argv[1]);

signal(SIGPIPE, SIG_IGN);

conn_reactor = new reactor();
if (conn_reactor->open(opt) != 0) ::exit(1);

sync_date(true);              // 初始化 Date 缓存
std::thread thr(sync_date_timing);  // 启动每秒刷新线程
thr.detach();

opt.reuse_addr = true;
acceptor acc(conn_reactor, gen_http);
if (acc.open(":8080", opt) != 0) ::exit(1);
conn_reactor->run();

关键点:

  • 默认开启 CPU 亲和性(set_cpu_affinity),让 poller 线程绑定核,减少缓存抖动;
  • poller 数量可通过命令行第一个参数指定(./app 4),不传时采用框架默认值,方便在压测时按机器核数调优;
  • SIGPIPE 被忽略,避免对端断开时写操作直接杀死进程(网络服务标配);
  • reuse_addr = true 允许端口快速复用,便于压测前后频繁重启;
  • acceptor.open(":8080", opt) 监听 8080 端口,最终 run() 进入事件循环。

Docker 构建与运行

reactor.dockerfile 展示了完整的镜像构建链路:

FROM ubuntu:22.04
RUN apt-get update -yqq
RUN apt-get install -yqq g++-11 gcc-11 make git

# 通过 update-alternatives 将 gcc/g++ 11 设为默认编译器
RUN update-alternatives --quiet --remove-all gcc \
  ; update-alternatives --quiet --remove-all g++ \
  ; ... --install /usr/bin/g++ g++ /usr/bin/g++-11 20 ...

WORKDIR /reactor-bench
RUN git clone https://github.com/shaovie/reactor.git

# 先编译 reactor 静态/共享库
RUN cd reactor/ && make clean all

# 覆盖官方源码目录下的 benchmark 源文件
COPY ./techempower.cpp /reactor-bench/reactor

WORKDIR /reactor-bench/reactor
RUN g++ techempower.cpp -O2 -std=c++11 -lreactor -L./bin -lpthread -o app

ENV LD_LIBRARY_PATH=./bin:$LD_LIBRARY_PATH
EXPOSE 8080
RUN ulimit -n 100000
CMD ./app

要点解读:

  • 基于 Ubuntu 22.04,安装 g++-11/gcc-11 并用 update-alternatives 锁定默认编译版本;
  • 先 git clone 官方 reactor 源码并 make clean all 构建出 libreactor(位于 ./bin);
  • 将 TFB 定制的 techempower.cpp 复制覆盖进源码树,随后用 -O2 -std=c++11 -lreactor -L./bin -lpthread 链接生成可执行文件 app;
  • 通过 LD_LIBRARY_PATH=./bin 让运行时找到动态库,EXPOSE 8080 对外暴露测试端口;
  • ulimit -n 100000 抬高文件描述符上限,以支撑 wrk 高并发压测下的海量连接;
  • 容器启动命令即 ./app(不带参数时使用框架默认 poller 数)。

构建后启动容器即可在 http://localhost:8080/plaintext 访问测试接口。

TFB 工具链如何验证与压测该测试

TFB 的测试类型系统(toolset/test_types)负责对框架响应做正确性验证,plaintext 测试逻辑位于 toolset/test_types/plaintext/plaintext.py。

验证规则

plaintext.py 的 verify() 方法按以下顺序检查:

  1. 非空响应:调用 verifications.py 中的 basic_body_verification(body, url, is_json_check=False)(plaintext 不要求 JSON);
  2. 路由长度:plaintext_url 必须至少 10 个字符(/plaintext 正好 12 个字符),防止误配;
  3. 正文匹配:响应体小写后必须包含 hello, world!;若返回字节数超出预期会给出 warn(多余字节会拖慢基准成绩)——reactor 的实现严格返回 13 字节的 Hello, World!,恰好通过;
  4. 状态码与响应头:verify_status 要求 200;verify_headers 要求必须包含 Server、Date、Content-Type 三个头部,且必须携带 Content-Length 或 Transfer-Encoding。Content-Type 需匹配正则 ^text/plain(; ?charset=(UTF|utf)-8)?$(verifications.py);
  5. Date 新鲜度:验证器会先取一次响应头,sleep(3) 后再请求一次,若两次 Date 完全相同则判定为"Invalid Cached Date"并失败——这正是 techempower.cpp 中每秒刷新 Date 缓存的原因。

wrk 压测脚本

plaintext 测试使用 toolset/wrk/pipeline.sh 执行,阶段包括:

  • Primer:-d 5 -c 8 -t 8 预热连接;
  • Warmup:以最大并发度跑一个完整 duration 时长;
  • 正式压测:遍历 pipeline_concurrency_levels 中的各并发级别,线程数取 min(并发数, nproc),并附加 pipeline.lua 脚本做 HTTP 管道化压测。

其中 pipeline.lua 会把 16 个(pipeline 参数值)请求打包进一次发送,测试的是 HTTP/1.1 pipeline 场景;由于 reactor 响应是预置常量拼接、接收缓冲区直接复用,配合 keep-alive 与多 poller 线程,可以在该场景下发挥事件驱动框架的优势。压测的 Accept 头由 abstract_test_type.py 提供,plaintext 对应 text/plain,text/html;q=0.9,...。

性能优化要点总结

从源码层面可归纳 reactor 该实现为冲刺 plaintext 成绩所做的优化,值得 C++ 网络编程参考:

  1. 预编译期常量响应:状态行、头部、正文全部硬编码,响应构建零格式化和零堆分配;
  2. 接收缓冲区原地回写:on_read 直接在 recv 得到的缓冲区上拼接响应后一次性 send,避免中间拷贝;
  3. Date 头秒级缓存:后台线程每秒刷新一次并经 reactor 的 poll_sync_opt 机制分发到各 poller 线程,on_read 仅做一次指针获取(poll_cache_get),把昂贵的系统时间调用从请求热路径上剥离,同时满足验证器对 Date 新鲜度的要求;
  4. 多 poller + CPU 亲和性:可通过命令行参数调整 poller 数量,set_cpu_affinity 绑定核数,减少上下文切换与缓存竞争;
  5. 忽略 SIGPIPE、端口快速复用、提升 fd 上限:保证长时间高压压测下的稳定性与快速重启能力。

小结

reactor 在 TFB 中的角色是一个典型的事件驱动网络框架基准样本:README 仅声明了单一测试入口,而真正的工程细节——响应常量预置、Date 跨线程缓存、poller 参数化、Docker 构建链——全部沉淀在 techempower.cpp 与 reactor.dockerfile 中。理解这套实现,既能看到 TFB 工具链(验证脚本、wrk 压测脚本)对框架输出格式的硬性要求,也能学习到面向极致吞吐的 C++ 网络编程惯用手法。

登录后查看全文
FrameworkBenchmarks