Turso 数据库性能测试实践指南:Mobibench、Clickbench、VFS 对比与 TPC-H 基准
Turso 数据库性能测试实践指南:Mobibench、Clickbench、VFS 对比与 TPC-H 基准
Turso(limbo)是一个用 Rust 实现的、兼容 SQLite 的数据库引擎,其性能测试体系覆盖了写入吞吐(Mobibench)、分析型查询(Clickbench 与 TPC-H)以及底层 IO 后端(io_uring 与 syscall 对比)等多个维度。本文以仓库根目录的 PERF.md 为骨架,结合 perf/ 目录下的实际脚本与 core/io 源码实现,完整讲解每类基准的构建、运行、参数含义与结果解读方式,帮助你快速在自己的机器上复现 Turso 的基准测试流程,并理解其性能评估的设计思路。
前置准备:Release 构建与本地 SQLite
PERF.md 中的大多数基准都需要两个基础件:tursodb 的 release 版本二进制,以及一个本地安装的 SQLite3 可执行文件(作为对照组)。
- 构建 Turso(release):从仓库根目录执行
cargo build --release即可得到包含 CLI 的target/release/tursodb;点击 Makefile 中的build-releasetarget 可以看到构建命令为cargo build --bin tursodb --release --features=tracing_release,基准脚本默认使用的正是target/release/tursodb。 - 安装本地 SQLite3:各基准脚本会自行调用 scripts/install-sqlite3.sh,将 SQLite3 安装到仓库内的
.sqlite3/sqlite3路径,例如 Clickbench 与 TPC-H 脚本中均有SQLITE3_BIN="$REPO_ROOT/.sqlite3/sqlite3"的定义,随后用该二进制执行对照查询。
Mobibench:写入类吞吐量评估
Mobibench 是一个面向移动场景的存储基准,Turso 仓库使用 penberg/Mobibench。
构建 Mobibench
按 PERF.md 中的步骤:
git clone git@github.com:penberg/Mobibench.git
cd Mobibench/shell
LIBS="../../target/release/libturso_sqlite3.a -lm" make
mv mobibench mobibench-turso
LIBS 指向仓库 release 构建产物 libturso_sqlite3.a(即 SQLite 兼容 C API 的静态库),与 -lm 一起链接出使用 Turso 存储引擎的 mobibench-turso。若要同时构建 SQLite 对照组,可按 perf/mobibench/README.md 的流程先 LIBS=sqlite3.c make && mv mobibench mobibench-sqlite3,再 make clean 后链接 Turso。
手动运行与参数说明
PERF.md 给出了两种运行方式:带 strace 统计系统调用的观察模式,以及常规运行:
# with strace, from target/release
strace -f -c ../../Mobibench/shell/mobibench-turso -f 1024 -r 4 -a 0 -y 0 -t 1 -d 0 -n 10000 -j 3 -s 2 -T 3 -D 1
./mobibench -p <benchmark-directory> -n 1000 -d 0 -j 4
第一行中 strace -f -c 会对子进程进行系统调用级跟踪并输出汇总统计,适合观察 Turso 在 WAL 写入路径上的 fsync/write 行为;第二行是最简运行形式。两者的 Mobibench 参数含义如下(汇总自 perf/mobibench/README.md 与 run-eval.sh 的实际调用):
| 参数 | 含义 | 常用值 |
|---|---|---|
-d |
数据库操作模式 | 0=insert,1=update,2=delete |
-j |
日志(journal)模式 | 3(WAL) |
-s |
同步(sync)模式 | 2(FULL) |
-y |
文件同步方式 | 0/2(fsync 等) |
-n |
事务数量 | 1000(PERF.md 示例中为 10000) |
-t |
线程数 | 1 |
-f |
文件大小(KB) | 1024 |
-r |
记录大小(KB) | 4 |
-a |
附加参数 | 0 |
-p |
数据目录 | 基准目录路径 |
WAL + FULL 同步是生产环境推荐的配置,因此基准默认在这一组合下度量两个引擎的 TPS。
自动化评估脚本
仓库提供了 run-eval.sh 一键完成 SQLite 与 Turso 的对比:它对 insert/update/delete 三种模式、两个引擎各跑 RUNS 次(默认 5,可用 RUNS=10 ./run-eval.sh 覆盖),从输出中提取 Transactions/sec,写入 perf/mobibench/plot/results.csv;随后可在 perf/mobibench/plot 目录执行 uv run python plot.py 生成分组柱状图 mobibench.pdf,直观对比两类引擎在三种写操作上的吞吐差异。注意该脚本要求 mobibench-sqlite3 与 mobibench-turso 两个二进制都已按 README 构建。
Clickbench:分析型查询对比
Clickbench 源自 ClickHouse 的基准套件,Turso 仓库对其进行了裁剪适配,流程由 perf/clickbench/benchmark.sh 与 perf/clickbench/run.sh 组成,Makefile 中对应 target 为 clickbench:
make clickbench
基准流程拆解
从 benchmark.sh 可以看到完整的数据准备链路:
- 构建与建库:若无 release 版
tursodb则先cargo build --bin tursodb --release,然后用tursodb --quiet perf/clickbench/mydb < create.sql创建数据库(建表 SQL 在 perf/clickbench/create.sql); - 下载数据集:从 ClickHouse 公开数据集下载
hits_compatible的 gzip 版本,解压后取前NUM_ROWS=1000000行作为子集(脚本注释明确这是 "a small subset",避免全量数据集耗时过长); - 导入数据:用本地 SQLite3 的
.import --csv导入hits.csv—— 脚本注释指出这一步选 SQLite 而非tursodb,是因为当时 Turso 尚未支持带索引的插入路径; - 执行查询:进入 run.sh,对 queries.sql 中的每条查询(以
--注释的行会被跳过)分别用tursodb与 SQLite3 各执行TRIES=1轮,两条语句之间都会先清理系统缓存(Linux 下执行sync与echo 3 | sudo tee /proc/sys/vm/drop_caches),并将各自的时间输出分别追加到clickbench-tursodb.txt与clickbench-sqlite3.txt,最后在终端打印两边的对比结果。
从结构看,Clickbench 的定位是"同一查询、同一冷缓存条件下两引擎各跑一遍",用于观察分析型负载下的原始耗时差距;由于每轮都清理缓存,它衡量的是冷缓存场景的表现。
对比 VFS / IO 后端:io_uring 与 syscall
Turso 在 Linux 上实现了多套 IO 后端,这是它与传统 SQLite 在架构上的重要差异之一。从 core/io 的源码结构看,io_uring.rs 提供基于 Linux io_uring 的异步 IO,unix.rs 提供基于系统调用(syscall)的路径,此外还有 memory.rs(内存后端)、windows.rs/win_iocp.rs(Windows IOCP)等,通过 vfs.rs 抽象出统一的 VFS 接口。PERF.md 提供的命令就是用来粗粒度对比两套后端在相同 SQL 下的表现:
make bench-vfs SQL="select * from users;" N=500
对应 Makefile 中的 bench-vfs target:
bench-vfs: uv-sync-test build-release
RUST_LOG=$(RUST_LOG) uv run --package turso_test bench-vfs "$(SQL)" "$(N)"
它会先构建 release 版 tursodb,然后对一份 testing/testing.db 数据库副本,用每个 VFS 后端把给定 SQL(默认示例为 select * from users;)执行 N 次并计时。PERF.md 特别强调:这不是一份权威或全面的性能基准,目的只是粗略比较两个 IO 后端在同一查询上的差异,因此解读结果时应把注意力放在"相对趋势"而非绝对值上。配套地,Makefile 还提供 make bench-sqlite VFS=... SQL=... N=...(L166-L167),可对指定 VFS 下的 SQLite 做同样的测量,便于交叉对照。
TPC-H:决策支持基准的完整对比
TPC-H 是经典的决策支持(DSS)基准,Turso 仓库在 perf/tpc-h 下提供了完整的 22 条查询(queries/1.sql 至 queries/22.sql)以及两段式脚本。PERF.md 首先给出运行入口:
./perf/tpc-h/benchmark.sh
同时提示:在 Linux 上若使用 tlp 管理电源策略,建议运行 TPC-H 基准期间将其停用,因为频率调节会影响结果稳定性;也可以考虑执行 swapoff -a 关闭交换分区,以减少系统级干扰。
benchmark.sh:数据准备
benchmark.sh 负责环境与数据准备:安装本地 SQLite3、按需构建 release 版 tursodb、若本地没有 TPC-H.db 则自动下载 TPC-H 1GB 级别的 SQLite 数据库文件(来自公开的 TPCH-sqlite 发行版),随后转交 run.sh 执行。
run.sh:查询计时与输出校验
run.sh 是整个对比的核心,包含多个值得注意的设计点:
- 两轮对比:先删除
sqlite_stat1/sqlite_stat4统计表,在 无 ANALYZE 状态下跑完全部查询;随后执行ANALYZE;,再跑一轮 有 ANALYZE 的对比,并在结果文件中额外输出DIFF: WITH ANALYZE - WITHOUT ANALYZE每查询的耗时差值表。脚本头注释说明"ANALYZE 后的第二遍耗时与第一遍相当",因此提供了ANALYZE=0环境变量来跳过第二遍; - 逐查询冷缓存:每条查询执行前都会调用
clear_caches()(Linux 下sync+ drop_caches,macOS 下sudo purge),保证两引擎都从冷缓存起跑; - 可跳过的查询指令:查询文件首行以
-- LIMBO_SKIP: <原因>开头则 Turso 侧跳过,包含-- SQLITE_SKIP行则 SQLite 侧跳过,原因会打印到日志;指令行在真正执行前会被剥离(load_query_sql用 sed 删除元数据行); - 输出一致性校验:
compare_query_outputs会对两个引擎的非计时输出做diff,若结果不一致则以非零码退出 —— 也就是说该基准不仅比快慢,还会校验 Turso 查询结果的正确性; - 结果落盘:每轮生成
perf/tpc-h/results_<时间戳>.txt,格式为query,limbo_seconds,sqlite_seconds(可通过RESULTS_FILE环境变量自定义路径),同时终端实时打印每条查询的 real 时间。
综合来看,TPC-H 基准是仓库中校验力度最完整的性能评估:既测量 22 条决策支持查询在两引擎上的耗时,又用输出 diff 兜底正确性,还通过 LIMBO_SKIP/SQLITE_SKIP 机制对尚未实现或语义差异的查询做显式标记(原因会随日志输出),避免把"不支持"误报为"性能差异"。
更多基准与延伸阅读
除 PERF.md 覆盖的四类基准外,perf 目录还沉淀了其他维度的评估资产,可作为进一步探索的入口:
- perf/latency:
turso_engine.rs与sqlite_engine.rs成对出现,对比两类引擎的延迟特征(另有 perf/throughput 对应吞吐维度); - perf/connection:limbo 与 rusqlite 两套连接层的对比工程;
- perf/tpc-c:TPC-C 事务基准,Makefile 提供
make bench-tpc-c入口(Makefile#L206-L208),调用perf/tpc-c/tpcc-turso/run_bench.sh; - core/benches:面向引擎内部组件的
cargo bench基准,涵盖 FTS、JSON、图查询、MVCC 恢复、哈希溢出等细分场景(Makefile 中bench-exclude-tpc-h展示了如何批量执行)。
小结
Turso 的性能测试体系遵循"真数据集 + 冷缓存 + 双引擎对照 + 结果校验"的统一范式:Mobibench 侧重 WAL 写入吞吐,Clickbench 用 100 万行点击流子集考察分析查询,bench-vfs 用于隔离验证 io_uring 与 syscall 两套 IO 后端的差异,TPC-H 则用 22 条决策支持查询做端到端计时并校验输出一致性。运行这些基准时,请务必注意 PERF.md 反复强调的前提:清理系统缓存需要 sudo 权限、电源管理工具(如 tlp)应临时关闭、基准结果仅反映当前构建与机器环境的相对表现,不宜直接外推为绝对性能结论。