用S2 Bench压测流式数据库:高吞吐与低延迟调优实战
用S2 Bench压测流式数据库:高吞吐与低延迟调优实战
S2 是一款开源的流式数据库(Durable Streams API,持久流式数据服务),内置 s2 bench 压测命令,可一键量化写入吞吐、读取吞吐、确认延迟与端到端延迟。本文带你快速搭好压测环境、跑通 S2 Bench,并总结高吞吐与低延迟调优的实用技巧。
一、3 分钟搭好 S2 压测环境 🚀
S2 提供自托管服务器 S2 Lite:单二进制、无外部依赖,以 SlateDB 为存储引擎,完全依托对象存储实现持久化。最轻量的验证方式是纯内存模式:
# 终端 1:启动内存模式的 S2 Lite
s2 lite --port 8080
也可以用 Docker 快速拉起(等价于 s2 lite 内存模式):
docker run -p 8080:80 ghcr.io/s2-streamstore/s2 lite
等服务就绪后,设置客户端环境变量,并创建一个支持"读写时自动创建 stream"的 basin:
export S2_ACCOUNT_ENDPOINT="http://localhost:8080"
export S2_BASIN_ENDPOINT="http://localhost:8080"
export S2_ACCESS_TOKEN="ignored"
# 健康检查
while ! curl -sf ${S2_ACCOUNT_ENDPOINT}/health -o /dev/null; do echo Waiting...; sleep 2; done && echo Up!
# 创建 basin(追加/读取时自动创建 stream)
s2 create-basin liteness --create-stream-on-append --create-stream-on-read
💡 概念提示:basin 是管理 stream 的顶层命名空间;stream 是一条持久化、可追加的记录流(append-only log),记录带有单调递增的序列号。
二、一行命令跑通 S2 Bench 压测
环境就绪后,执行:
s2 bench liteness --target-mibps 10 --duration 5s --catchup-delay 0s
压测分为三个阶段:
- 写入阶段:按
--target-mibps限速持续写入随机数据,每条记录带时间戳与 XXH3 哈希链(hash头); - 实时读取阶段:读会话从序列 0 开始实时追赶(tail)新记录,并逐条校验记录大小与哈希链完整性;
- 追平(Catchup)阶段:写入结束后等待
--catchup-delay,再全量重读一遍,验证持久化数据可被完整读回。
关键参数一览
| 参数 | 短参 | 默认值 | 说明 |
|---|---|---|---|
--target-mibps |
-t |
1 | 目标写入吞吐(MiB/s),对写端限速 |
--duration |
-d |
60s | 压测持续时间 |
--record-size |
-b |
8192 | 单条记录总大小(字节,128 B ~ 1 MiB) |
--catchup-delay |
-w |
20s | 追平读取前的等待时长 |
--storage-class |
-c |
basin 默认 | 测试 stream 使用的存储类 |
三、看懂压测输出:吞吐与延迟指标 📊
压测结束后,终端会输出三组吞吐数据和两张延迟统计表:
Write: 10.21 MiB/s, 1283 records/s (26.5 MB, 6413 records in 2.59s)
Read: 10.18 MiB/s, 1279 records/s (...)
Catchup: 45.32 MiB/s, 5797 records/s (...)
Ack Latency Statistics End-to-End Latency Statistics
min : - min : -
p50 : - p50 : -
p90 : - p90 : -
p99 : - p99 : -
max : - max : -
- Write / Read:写入与实时读取的吞吐(MiB/s 与 records/s);
- Catchup:追平阶段的全量重读吞吐,通常应显著高于实时读取值;
- Ack Latency:写请求从提交到收到确认(ack)的耗时;
- End-to-End Latency:从写入打时间戳到读取端收到的端到端耗时;
- 两者均给出
min / p50 / p90 / p99 / max五个分位点。
⚠️ 校验失败会直接报错退出,例如
live read hash mismatch(哈希链不匹配)或catchup read record count mismatch(记录数不一致),意味着读写数据不一致,需排查服务端配置后重测。
压测的完整实现位于 cli/src/bench.rs,命令行参数定义在 cli/src/cli.rs 的 BenchArgs 中,限速与延迟统计逻辑都可以在源码中找到。
四、高吞吐调优实战 📈
1. 合理选择记录大小
-b 控制单条记录的计量大小(含约 22 字节的固定开销:时间戳、序列号与 hash 头)。记录越大:
- 每秒记录数(records/s)越低,但字节吞吐更高;
- 序列号分配与确认往返更少,写放大更小。
日志类小事件流建议贴近真实负载(1 KB ~ 8 KB);大块数据(如音视频分片)可提高到 64 KB ~ 1 MB 以摊薄固定开销。
2. 用 --target-mibps 做可控压测
写端采用基于时间的限速:按"已提交字节数 ÷ 目标速率"推算应有耗时,超前了就休眠。将目标速率设为服务端预期上限的 80%~100%,可避免客户端成为瓶颈,得到稳定的吞吐曲线。
3. 选择正确的存储后端
S2 Lite 支持三种后端,性能特征差异明显:
| 后端 | 启动方式 | 特点 |
|---|---|---|
| 内存 | s2 lite |
最快,适合集成测试与调参基线 |
| 本地磁盘 | s2 lite --local-root /data |
单机落盘,适合生产单机验证 |
| 对象存储 | s2 lite --bucket my-bucket |
数据先落对象存储再确认,与云端行为一致 |
对象存储场景下,写路径已做 pipelining(流水线式 append)以掩盖高延迟——每个 stream 对应一个 streamer 任务,负责串行化 append 并向跟随者广播已确认记录,见 lite/src/backend/streamer.rs。
五、低延迟调优关键配置 ⚡
1. 分离 WAL,隔离刷盘延迟
前写日志(WAL)默认与主存储共用同一后端。把 WAL 放到独立的低延迟存储上,可避免 flush 与 compaction 拖累写入确认延迟:
# LSM 主存储在对象桶,WAL 放本地 SSD
s2 lite --bucket my-bucket --wal-local-root /data/wal
# 或使用独立的 WAL 桶
s2 lite --bucket my-bucket --wal-bucket my-wal-bucket
2. 调整 SlateDB 刷盘间隔
通过 SL8_ 前缀的环境变量可覆盖底层存储引擎参数。刷盘间隔(SL8_FLUSH_INTERVAL)默认对 S3 是 50ms、其他后端是 5ms:
SL8_FLUSH_INTERVAL=10ms s2 lite --bucket my-bucket
更小的间隔能降低持久化延迟,但会增加小文件写入频率,需结合对象存储成本权衡。
3. 体验毫秒级实时读取
端到端延迟 = 写入确认 + 广播到跟随者 + 读端消费。压测中的读会话实时 tail,e2e 分位点直接反映"写入到可被消费"的完整链路。跑完 bench 后,可以顺手体验一下实时流读:
# 终端 A:实时读取(新终端需重新 export 环境变量)
s2 read s2://liteness/starwars
# 终端 B:把经典 starwars 文本流写入
nc starwars.s2.dev 23 | s2 append s2://liteness/starwars
写入与读取几乎同步呈现,这正是流式数据库"毫秒级可见"的体验。
六、常见问题排查 🛠️
| 现象 | 可能原因 | 处理建议 |
|---|---|---|
catchup read timed out after 5 minutes |
对象存储读取慢或桶配置错误 | 检查 bucket 权限与网络,或换 --local-root 定位 |
live read hash mismatch |
读写数据不一致 | 确认 basin 配置,检查 stream 是否串数据,重测 |
吞吐远低于 --target-mibps |
服务端或客户端成为瓶颈 | 加大 --duration 观察稳态;分离 WAL;调整刷盘间隔 |
| catchup 记录数 mismatch | 读端提前结束 | 适当增大 --catchup-delay |
按 Ctrl+C 中断会输出部分结果(partial results),适合快速冒烟验证。
总结
- 一条命令压测:
s2 bench <basin>覆盖写入吞吐、实时读取、延迟分位点(p50/p90/p99)与哈希链一致性校验; - 高吞吐:选大记录摊薄固定开销 +
--target-mibps可控限速 + 匹配负载的存储后端; - 低延迟:WAL 分离到本地 SSD、调整
SL8_FLUSH_INTERVAL,让 ack 与 e2e 分位点都收得更紧。
更多部署选项(如 Kubernetes Helm 部署)见 charts/s2-lite-helm/README.md,CLI 安装与 API 全貌见 README.md 与 cli/Cargo.toml。

