Turso 数据库性能测试实践指南:Mobibench、Clickbench、VFS 对比与 TPC-H 基准

原创2026-09-11 22:50:521,728 阅读
文章标签:数据库嵌入式数据库关系型数据库数据同步向量数据库CLI

Turso 数据库性能测试实践指南:Mobibench、Clickbench、VFS 对比与 TPC-H 基准

Turso(limbo)是一个用 Rust 实现的、兼容 SQLite 的数据库引擎,其性能测试体系覆盖了写入吞吐(Mobibench)、分析型查询(Clickbench 与 TPC-H)以及底层 IO 后端(io_uring 与 syscall 对比)等多个维度。本文以仓库根目录的 PERF.md 为骨架,结合 perf/ 目录下的实际脚本与 core/io 源码实现,完整讲解每类基准的构建、运行、参数含义与结果解读方式,帮助你快速在自己的机器上复现 Turso 的基准测试流程,并理解其性能评估的设计思路。

前置准备:Release 构建与本地 SQLite

PERF.md 中的大多数基准都需要两个基础件:tursodb 的 release 版本二进制,以及一个本地安装的 SQLite3 可执行文件(作为对照组)。

  • 构建 Turso(release):从仓库根目录执行 cargo build --release 即可得到包含 CLI 的 target/release/tursodb;点击 Makefile 中的 build-release target 可以看到构建命令为 cargo build --bin tursodb --release --features=tracing_release,基准脚本默认使用的正是 target/release/tursodb。
  • 安装本地 SQLite3:各基准脚本会自行调用 scripts/install-sqlite3.sh,将 SQLite3 安装到仓库内的 .sqlite3/sqlite3 路径,例如 Clickbench 与 TPC-H 脚本中均有 SQLITE3_BIN="$REPO_ROOT/.sqlite3/sqlite3" 的定义,随后用该二进制执行对照查询。

Mobibench:写入类吞吐量评估

Mobibench 是一个面向移动场景的存储基准,Turso 仓库使用 penberg/Mobibench。

构建 Mobibench

按 PERF.md 中的步骤:

git clone git@github.com:penberg/Mobibench.git
cd Mobibench/shell
LIBS="../../target/release/libturso_sqlite3.a -lm" make
mv mobibench mobibench-turso

LIBS 指向仓库 release 构建产物 libturso_sqlite3.a(即 SQLite 兼容 C API 的静态库),与 -lm 一起链接出使用 Turso 存储引擎的 mobibench-turso。若要同时构建 SQLite 对照组,可按 perf/mobibench/README.md 的流程先 LIBS=sqlite3.c make && mv mobibench mobibench-sqlite3,再 make clean 后链接 Turso。

手动运行与参数说明

PERF.md 给出了两种运行方式:带 strace 统计系统调用的观察模式,以及常规运行:

# with strace, from target/release
strace -f -c ../../Mobibench/shell/mobibench-turso -f 1024 -r 4 -a 0 -y 0 -t 1 -d 0 -n 10000 -j 3 -s 2 -T 3 -D 1

./mobibench -p <benchmark-directory> -n 1000 -d 0 -j 4

第一行中 strace -f -c 会对子进程进行系统调用级跟踪并输出汇总统计,适合观察 Turso 在 WAL 写入路径上的 fsync/write 行为;第二行是最简运行形式。两者的 Mobibench 参数含义如下(汇总自 perf/mobibench/README.md 与 run-eval.sh 的实际调用):

参数 含义 常用值
-d 数据库操作模式 0=insert,1=update,2=delete
-j 日志(journal)模式 3(WAL)
-s 同步(sync)模式 2(FULL)
-y 文件同步方式 0/2(fsync 等)
-n 事务数量 1000(PERF.md 示例中为 10000)
-t 线程数 1
-f 文件大小(KB) 1024
-r 记录大小(KB) 4
-a 附加参数 0
-p 数据目录 基准目录路径

WAL + FULL 同步是生产环境推荐的配置,因此基准默认在这一组合下度量两个引擎的 TPS。

自动化评估脚本

仓库提供了 run-eval.sh 一键完成 SQLite 与 Turso 的对比:它对 insert/update/delete 三种模式、两个引擎各跑 RUNS 次(默认 5,可用 RUNS=10 ./run-eval.sh 覆盖),从输出中提取 Transactions/sec,写入 perf/mobibench/plot/results.csv;随后可在 perf/mobibench/plot 目录执行 uv run python plot.py 生成分组柱状图 mobibench.pdf,直观对比两类引擎在三种写操作上的吞吐差异。注意该脚本要求 mobibench-sqlite3 与 mobibench-turso 两个二进制都已按 README 构建。

Clickbench:分析型查询对比

Clickbench 源自 ClickHouse 的基准套件,Turso 仓库对其进行了裁剪适配,流程由 perf/clickbench/benchmark.sh 与 perf/clickbench/run.sh 组成,Makefile 中对应 target 为 clickbench:

make clickbench

基准流程拆解

从 benchmark.sh 可以看到完整的数据准备链路:

  1. 构建与建库:若无 release 版 tursodb 则先 cargo build --bin tursodb --release,然后用 tursodb --quiet perf/clickbench/mydb < create.sql 创建数据库(建表 SQL 在 perf/clickbench/create.sql);
  2. 下载数据集:从 ClickHouse 公开数据集下载 hits_compatible 的 gzip 版本,解压后取前 NUM_ROWS=1000000 行作为子集(脚本注释明确这是 "a small subset",避免全量数据集耗时过长);
  3. 导入数据:用本地 SQLite3 的 .import --csv 导入 hits.csv —— 脚本注释指出这一步选 SQLite 而非 tursodb,是因为当时 Turso 尚未支持带索引的插入路径;
  4. 执行查询:进入 run.sh,对 queries.sql 中的每条查询(以 -- 注释的行会被跳过)分别用 tursodb 与 SQLite3 各执行 TRIES=1 轮,两条语句之间都会先清理系统缓存(Linux 下执行 sync 与 echo 3 | sudo tee /proc/sys/vm/drop_caches),并将各自的时间输出分别追加到 clickbench-tursodb.txt 与 clickbench-sqlite3.txt,最后在终端打印两边的对比结果。

从结构看,Clickbench 的定位是"同一查询、同一冷缓存条件下两引擎各跑一遍",用于观察分析型负载下的原始耗时差距;由于每轮都清理缓存,它衡量的是冷缓存场景的表现。

对比 VFS / IO 后端:io_uring 与 syscall

Turso 在 Linux 上实现了多套 IO 后端,这是它与传统 SQLite 在架构上的重要差异之一。从 core/io 的源码结构看,io_uring.rs 提供基于 Linux io_uring 的异步 IO,unix.rs 提供基于系统调用(syscall)的路径,此外还有 memory.rs(内存后端)、windows.rs/win_iocp.rs(Windows IOCP)等,通过 vfs.rs 抽象出统一的 VFS 接口。PERF.md 提供的命令就是用来粗粒度对比两套后端在相同 SQL 下的表现:

make bench-vfs SQL="select * from users;" N=500

对应 Makefile 中的 bench-vfs target:

bench-vfs: uv-sync-test build-release
	RUST_LOG=$(RUST_LOG) uv run --package turso_test bench-vfs "$(SQL)" "$(N)"

它会先构建 release 版 tursodb,然后对一份 testing/testing.db 数据库副本,用每个 VFS 后端把给定 SQL(默认示例为 select * from users;)执行 N 次并计时。PERF.md 特别强调:这不是一份权威或全面的性能基准,目的只是粗略比较两个 IO 后端在同一查询上的差异,因此解读结果时应把注意力放在"相对趋势"而非绝对值上。配套地,Makefile 还提供 make bench-sqlite VFS=... SQL=... N=...(L166-L167),可对指定 VFS 下的 SQLite 做同样的测量,便于交叉对照。

TPC-H:决策支持基准的完整对比

TPC-H 是经典的决策支持(DSS)基准,Turso 仓库在 perf/tpc-h 下提供了完整的 22 条查询(queries/1.sql 至 queries/22.sql)以及两段式脚本。PERF.md 首先给出运行入口:

./perf/tpc-h/benchmark.sh

同时提示:在 Linux 上若使用 tlp 管理电源策略,建议运行 TPC-H 基准期间将其停用,因为频率调节会影响结果稳定性;也可以考虑执行 swapoff -a 关闭交换分区,以减少系统级干扰。

benchmark.sh:数据准备

benchmark.sh 负责环境与数据准备:安装本地 SQLite3、按需构建 release 版 tursodb、若本地没有 TPC-H.db 则自动下载 TPC-H 1GB 级别的 SQLite 数据库文件(来自公开的 TPCH-sqlite 发行版),随后转交 run.sh 执行。

run.sh:查询计时与输出校验

run.sh 是整个对比的核心,包含多个值得注意的设计点:

  • 两轮对比:先删除 sqlite_stat1/sqlite_stat4 统计表,在 无 ANALYZE 状态下跑完全部查询;随后执行 ANALYZE;,再跑一轮 有 ANALYZE 的对比,并在结果文件中额外输出 DIFF: WITH ANALYZE - WITHOUT ANALYZE 每查询的耗时差值表。脚本头注释说明"ANALYZE 后的第二遍耗时与第一遍相当",因此提供了 ANALYZE=0 环境变量来跳过第二遍;
  • 逐查询冷缓存:每条查询执行前都会调用 clear_caches()(Linux 下 sync + drop_caches,macOS 下 sudo purge),保证两引擎都从冷缓存起跑;
  • 可跳过的查询指令:查询文件首行以 -- LIMBO_SKIP: <原因> 开头则 Turso 侧跳过,包含 -- SQLITE_SKIP 行则 SQLite 侧跳过,原因会打印到日志;指令行在真正执行前会被剥离(load_query_sql 用 sed 删除元数据行);
  • 输出一致性校验:compare_query_outputs 会对两个引擎的非计时输出做 diff,若结果不一致则以非零码退出 —— 也就是说该基准不仅比快慢,还会校验 Turso 查询结果的正确性;
  • 结果落盘:每轮生成 perf/tpc-h/results_<时间戳>.txt,格式为 query,limbo_seconds,sqlite_seconds(可通过 RESULTS_FILE 环境变量自定义路径),同时终端实时打印每条查询的 real 时间。

综合来看,TPC-H 基准是仓库中校验力度最完整的性能评估:既测量 22 条决策支持查询在两引擎上的耗时,又用输出 diff 兜底正确性,还通过 LIMBO_SKIP/SQLITE_SKIP 机制对尚未实现或语义差异的查询做显式标记(原因会随日志输出),避免把"不支持"误报为"性能差异"。

更多基准与延伸阅读

除 PERF.md 覆盖的四类基准外,perf 目录还沉淀了其他维度的评估资产,可作为进一步探索的入口:

  • perf/latency:turso_engine.rs 与 sqlite_engine.rs 成对出现,对比两类引擎的延迟特征(另有 perf/throughput 对应吞吐维度);
  • perf/connection:limbo 与 rusqlite 两套连接层的对比工程;
  • perf/tpc-c:TPC-C 事务基准,Makefile 提供 make bench-tpc-c 入口(Makefile#L206-L208),调用 perf/tpc-c/tpcc-turso/run_bench.sh;
  • core/benches:面向引擎内部组件的 cargo bench 基准,涵盖 FTS、JSON、图查询、MVCC 恢复、哈希溢出等细分场景(Makefile 中 bench-exclude-tpc-h 展示了如何批量执行)。

小结

Turso 的性能测试体系遵循"真数据集 + 冷缓存 + 双引擎对照 + 结果校验"的统一范式:Mobibench 侧重 WAL 写入吞吐,Clickbench 用 100 万行点击流子集考察分析查询,bench-vfs 用于隔离验证 io_uring 与 syscall 两套 IO 后端的差异,TPC-H 则用 22 条决策支持查询做端到端计时并校验输出一致性。运行这些基准时,请务必注意 PERF.md 反复强调的前提:清理系统缓存需要 sudo 权限、电源管理工具(如 tlp)应临时关闭、基准结果仅反映当前构建与机器环境的相对表现,不宜直接外推为绝对性能结论。

登录后查看全文
turso