Lance 仓库实战指南:用 TPC-H Q1/Q6 基准测试对比 Lance 与 Parquet 的扫描性能

原创2026-09-15 14:10:311,979 阅读
文章标签:数据湖湖仓一体大数据列式数据库向量数据库全文检索OLAP人工智能

Lance 仓库实战指南:用 TPC-H Q1/Q6 基准测试对比 Lance 与 Parquet 的扫描性能

本文以 Lance 仓库中 benchmarks/tpch 基准目录为核心,完整讲解如何用 DuckDB 在同一执行引擎下对比 Lance 与 Parquet 两种列式格式在 TPC-H lineitem 表(SF1,约 6000 万行)上的全表扫描与聚合性能。读完后你可以独立完成数据集本地生成、跑通 benchmark.py 的 Q1/Q6 两条查询,并结合 pylance 源码理解 lance.dataset() 为何能被 DuckDB 直接查询、计时窗口里各自包含了哪些开销。

基准测试的定位:只测扫描与聚合,不测随机访问

Lance 的核心卖点之一是 100 倍于 Parquet 的随机访问性能(见根目录 README.md),但 benchmarks/tpch 这个目录测的是另一个维度:分析型全表扫描(scan + filter + aggregate)的吞吐表现。它回答的问题是——当格式从 Parquet 换成 Lance 时,传统的 SQL 分析负载是否还能保持同等效率。

该目录只包含两个文件:README.md 提供操作说明,benchmark.py 是执行脚本。选择 TPC-H 中的 Q1 和 Q6 并非偶然,两条查询恰好覆盖了两种不同的列访问模式:

查询 访问列 过滤条件 考察点
Q1 8 列(l_returnflag、l_linestatus、l_quantity、l_extendedprice、l_discount、l_tax、l_shipdate 等) l_shipdate <= date '1998-12-01' - interval '90' day(弱过滤) 宽列 + 低选择率过滤下的扫描吞吐
Q6 4 列(l_shipdate、l_discount、l_quantity、l_extendedprice) 日期区间 + l_discount between 0.05 AND 0.07 + l_quantity < 24(强过滤) 窄列 + 高选择率过滤下的扫描效率

Q6 是 TPC-H 中最经典的"纯扫描"查询:无 join、无 group by,只做条件过滤后求 sum(l_extendedprice * l_discount)。它把压力完全放在存储格式的顺序读取与谓词求值路径上,因此最能体现两种格式的 I/O 与解码差异。

环境准备与依赖安装

按照 benchmarks/tpch/README.md 的 Prerequisites 一节,只需要安装三个 Python 依赖:

python3 -m pip install duckdb pyarrow pylance
  • pylance:Lance 的 Python SDK(即 PyO3 绑定,源码位于 python/python/lance 目录)。
  • pyarrow:提供 Arrow 数据接口,Lance 数据最终以 Arrow 批的形式暴露给上层引擎。
  • duckdb:作为两条路径共用的 SQL 执行引擎,保证对比的公平性——差异只来自底层存储格式。

数据集准备:用 DuckDB 本地生成 TPC-H SF1

基准测试要求数据集放在当前目录(benchmarks/tpch)下的 dataset/ 中。README 给出一段可以直接执行的 Python 内联脚本,利用 DuckDB 内置的 tpch 扩展在内存中生成 SF1 数据,然后分别落盘为 Parquet 和 Lance 两种格式:

mkdir -p dataset
python3 - <<'PY'
import duckdb
import pyarrow.parquet as pq
import lance

con = duckdb.connect(database=":memory:")
con.execute("INSTALL tpch; LOAD tpch")
con.execute("CALL dbgen(sf=1)")

lineitem = con.query("SELECT * FROM lineitem").to_arrow_table()
pq.write_table(lineitem, "dataset/lineitem_sf1.parquet")
lance.write_dataset(lineitem, "dataset/lineitem.lance", mode="overwrite")
PY

这段脚本的关键点:

  1. 数据源统一:CALL dbgen(sf=1) 生成 scale factor 1 的标准 TPC-H 数据(lineitem 表约 6000 万行),随后 to_arrow_table() 一次性物化为 Arrow Table,两个文件来自同一份内存数据,保证行数、值完全一致。
  2. 写入路径对等:Parquet 走 pyarrow.parquet.write_table,Lance 走 lance.write_dataset,mode="overwrite" 表示覆盖已有数据集——首次运行时目录为空无妨,重复运行时则避免追加出第二份数据干扰基准。
  3. 产物:脚本执行后得到 dataset/lineitem_sf1.parquet 与 dataset/lineitem.lance 两个文件,供后续基准脚本分别读取。

值得一提的是 lance.write_dataset 接收的就是标准 pyarrow.Table,与 PyArrow 的 Parquet writer 处于同一输入层级,这正是 Lance 作为"Arrow 原生格式"的直接体现:从 Parquet 或任意 Arrow 来源转换到 Lance 只需一行写入代码。

运行基准测试

数据准备完成后,从 benchmarks/tpch 目录执行:

python3 benchmark.py q1
python3 benchmark.py q6

benchmark.py 执行流程逐段解析

下面结合 benchmark.py 源码,把脚本实际做的事情拆开讲清楚。

1. 命令行入口与查询选择

脚本通过 sys.argv 接收参数(第 44-53 行),只接受 q1 或 q6,其他输入直接退出:

num_args = len(sys.argv)
assert num_args == 2

query = ""
if sys.argv[1] == "q1":
    query = Q1
elif sys.argv[1] == "q6":
    query = Q6
else:
    sys.exit("We only support Q1 and Q6 for now")

Q1、Q6 的 SQL 文本直接内嵌在脚本顶部的 Q1、Q6 常量中,与上文表格描述的列访问模式一致。

2. Lance 分支:打开数据集后直接交给 DuckDB 执行

start1 = time.time()
# read from lance and create a relation from it
lineitem = lance.dataset("./dataset/lineitem.lance")
res1 = duckdb.sql(query).df()
end1 = time.time()

print("Lance Latency: ", str(round(end1 - start1, 3)) + "s")
print(res1)

这里有两个值得注意的机制:

  • lance.dataset() 是 pylance 的核心入口。查看 python/python/lance/init.py 中的函数签名可以看到,它接受 uri(本地路径或对象存储 URI)、version(指定版本或 tag,支持时间旅行)、storage_options(云存储凭证)、index_cache_size、metadata_cache_size_bytes 等参数。基准脚本只传了路径,使用默认配置加载最新版本。
  • DuckDB 能直接把它当表来查。从源码结构看,python/python/lance/dataset.py 中 LanceDataset 类直接继承自 pyarrow.dataset.Dataset。Arrow Dataset 实现了标准化的文件级扫描接口,DuckDB 的 Arrow 扫描替换(Arrow Scan Replacement)会自动识别这类对象,因此 SQL 里裸写的 lineitem 表名无需任何 CREATE VIEW 声明即可解析。这也与根目录 README.md 中 DuckDB 集成示例(duckdb.query("SELECT * FROM dataset LIMIT 10"))的用法完全一致。

3. Parquet 分支:先建 VIEW 再执行查询

lineitem = None
start2 = time.time()
# read from parquet and create a view instead of table from it
duckdb.sql(
    "CREATE VIEW lineitem AS SELECT * FROM read_parquet('./dataset/lineitem_sf1.parquet');"
)
res2 = duckdb.sql(query).df()
end2 = time.time()

print("Parquet Latency: ", str(round(end2 - start2, 3)) + "s")
print(res2)

Parquet 路径先把文件注册为名为 lineitem 的 VIEW(read_parquet 是惰性函数,建 VIEW 本身不读数据,真正的 I/O 发生在随后的 duckdb.sql(query) 中),然后执行同一条 SQL。分支末尾的 lineitem = None 只是清理 Lance 分支留下的 Python 变量,避免残留对象影响后续执行。

4. 结果输出即正确性校验

两个分支除了打印各自的 Latency,都会 print(res1) / print(res2) 输出聚合结果。Q1 返回按 l_returnflag, l_linestatus 分组的一行统计(sum_qty、sum_charge、count_order 等 8 个度量),Q6 返回单一 revenue 值。人工核对两个输出是否一致,就等于对"两种格式 + 同一引擎"做了一次端到端正确性交叉验证。

结果解读注意事项

  • 计时窗口不完全对称:Lance 分支的计时区间包含了 lance.dataset() 打开数据集的过程(读取 manifest、加载 schema 等元数据),而 Parquet 分支的计时区间从 CREATE VIEW 开始。解读两份延迟数字时应把这个元数据加载成本考虑在内;若要严格对齐,可在脚本外先用 lance.dataset(...) 打开一次再计时(仓库是只读的,这类调整请在你自己的本地副本中进行)。
  • 数字需在本地跑出来:README 本身没有附带具体延迟数值,因为结果强依赖硬件、文件系统与缓存状态。建议在同一台机器上依次跑 q1、q6 各若干轮,取稳定值后再下结论,并可交换执行顺序排除冷热缓存影响。
  • 基准范围有限:benchmark.py 明确只支持 Q1 和 Q6(其余参数会 sys.exit),没有覆盖 join 类查询(如 Q5、Q9)。如果想把扫描基准扩展到全表 TPC-H,可以复制该脚本结构、替换 SQL 文本即可,但注意这会超出仓库自带基准的验证范围。

进阶:绕过 SQL 引擎做格式级对比

如果你想进一步隔离"格式读取"本身的开销(即排除 DuckDB 的向量化执行影响),可以直接使用 pylance 的扫描 API。查看 python/python/lance/dataset.py 中 LanceDataset.scanner() 的签名,它支持:

  • columns:只投影需要的列,等价于 Q6 场景下的列裁剪;
  • filter:传入 SQL where 子句字符串或 pa.compute.Expression,由 Lance 在读取路径上求值;
  • batch_size / batch_readahead / fragment_readahead:控制批次大小与预读并发。

一个最小示例(与 Q6 的列和谓词对应):

import lance

ds = lance.dataset("./dataset/lineitem.lance")
scanner = ds.scanner(
    columns=["l_shipdate", "l_discount", "l_quantity", "l_extendedprice"],
    filter="l_shipdate >= DATE '1994-01-01' AND l_shipdate < DATE '1995-01-01' "
           "AND l_discount BETWEEN 0.05 AND 0.07 AND l_quantity < 24",
)
for batch in scanner.to_batches():
    ...  # 累加 l_extendedprice * l_discount 得到 revenue

这样得到的结果应与基准脚本中 Q6 的 revenue 一致,同时能帮助你定位耗时究竟在格式解码还是在引擎执行。Parquet 一侧则可用 pyarrow.dataset.dataset(...).to_table(columns=[...], filter=...) 做同构对比。

小结

benchmarks/tpch 目录提供了一个轻量但完整的分析型基准模板:用 DuckDB 生成 SF1 标准数据、以同一引擎执行 TPC-H Q1/Q6、分别经 lance.dataset()(Arrow Dataset 接口)与 read_parquet VIEW 两条路径读取并计时。它验证的是 Lance 作为 Parquet 替代格式在 SQL 扫描负载下的表现,与 Lance 在随机访问上的优势互为补充。所有代码与说明均位于 benchmarks/tpch/README.md 和 benchmarks/tpch/benchmark.py,可直接在本地复现并在此基础上扩展更多 TPC-H 查询。

登录后查看全文
lance