DuckDB 本地数据库加速:EasyXT 如何把回测提速 10 倍?完整原理揭秘
DuckDB 本地数据库加速:EasyXT 如何把回测提速 10 倍?完整原理揭秘
做量化回测的人都遇到过这种场景:策略只回测一年,跑一次却要等好几分钟,而其中 90% 的时间根本没花在"算策略"上,而是花在"等数据"。EasyXT 的解法是把行情数据放进本地的 DuckDB 数据库,让 1000 次回测从约 300 秒缩短到约 10 秒——提速 10 倍以上。这篇文章带你拆解 EasyXT 提速背后的 5 个关键设计,全程不需要你懂数据库也能看完。
一、为什么数据获取会成为量化回测的瓶颈?
先看看没有本地数据库时,EasyXT 常见的三种取数方式:
| 数据获取方式 | 每次取数要做什么 | 痛点 |
|---|---|---|
| 在线 API(Tushare 等) | 走网络请求 → 等待响应 → 拼装 DataFrame | 慢、有调用次数限制、断网即停 |
| QMT 本地文件 | 打开行情文件 → 解析 → 逐股读取 | 较快,但仍受限于文件格式与单股循环 |
| DuckDB 本地数据库 | 一条 SQL 批量取出所需数据 | 极快,且完全离线 |
策略计算本身可能只要几毫秒到几十毫秒,但数据加载一旦走网络接口,回测和因子扫描就会被"拖住"。EasyXT 实盘与回测的完整输出效果大致如下(委托、成交与条件预警一屏可见):
数据越快,你一天能试的策略版本就多一倍,研究效率直接翻倍。
二、DuckDB:为"分析"而生的单文件数据库
DuckDB 是一个嵌入式分析型数据库,和 MySQL、PostgreSQL 这种"要装服务器、要建用户"的数据库完全不同:
- 零配置:
pip install duckdb就能用,不需要安装任何数据库服务 - 单文件:所有数据就存在一个
.ddb文件里(EasyXT 默认放在D:/StockData/stock_data.ddb) - 向量化查询:引擎按"数据块"批量计算,天然适合股票这种行多列多的行情表
- Python 友好:一条
fetchdf()直接把查询结果变成 pandas DataFrame
对量化研究者来说,这相当于把"在线查数据的黑盒"变成了"本地查数据的文件"——想备份就复制文件,想迁移就拷到另一台电脑。
完整的使用指南见 docs/assets/DUCKDB_GUIDE.md。
三、提速 10 倍的 5 个关键设计
1. 连接池管理:多进程同时访问不锁库
DuckDB 有个特性:文件正在被某个进程写入时,其他进程打开会报"文件被占用"。EasyXT 用 duckdb_connection_pool.py 里的连接管理器解决它:
- GUI 查询统一走只读连接,互不干扰
- 连接获取失败(文件被占用)时自动退避重试,最长重试 5 次
- 写操作由全局写锁串行化,最多重试 10 次
效果是:你开着一个数据浏览器、后台跑回测、同时算因子,三件事可以并行,互不阻塞。
2. 批量 SQL 查询:把 5000 次循环压成 1 条 SQL
朴素做法是"循环每只股票 → 各查一次",5000 只股票就是 5000 次 IO。EasyXT 的 optimize_duckdb_loading.py 用 IN 子句一次取回整个股票池的数据,再在内存里按股票分组,并支持把结果落盘缓存(.pkl),下次同一区间的回测直接读缓存,秒开。
3. 本地优先的数据源自动路由
EasyXT 内置了一套数据源优先级,你不需要手动切换:
DuckDB(本地最快) > QMT(本地) > Tushare(在线) > akshare > qstock
只要本地有 .ddb 文件,系统就会自动走最快的本地通道;本地没有时再逐级降级到在线源——提速是"自动生效"的,不用改代码。
4. 只存不复权数据:省空间也省维护
unified_duckdb_manager.py 遵循一个清晰的架构原则:原始行情(不变)存 DuckDB,复权行情(会变)由 QMT API 实时计算。
| 指标 | 存 3 种复权数据 | 只存不复权 |
|---|---|---|
| 存储空间 | 约 9GB | 约 3GB(-66%) |
| 每次分红后的维护量 | 3 套历史要重算 | 0(复权实时算) |
| 数据一致性风险 | 有 | 无 |
原理说明可参考 data_manager/UNIFIED_DUCKDB_FIX.md。
5. 规范化读取:一行代码拿到干净的日线
local_price_reader.py 提供了标准化的日线读取函数:自动统一日期格式、自动把 Tushare ETF 的"千元"成交额折算成"元"、按日期与代码排序输出。上层回测引擎不用关心底层表结构差异,取数逻辑只有一份、处处一致。
四、快速上手:3 步完成 DuckDB 初始化
# 第 1 步:安装 DuckDB
pip install duckdb
第 2 步:下载数据(二选一)
- GUI 方式(推荐新手,不需要 QMT):运行
python run_gui.py,切到「Tushare 下载」标签页,勾选"日线行情",点击开始批量下载,数据会自动保存到D:/StockData/stock_data.ddb - 命令行方式:
python tools/setup_duckdb.py,按提示选择快速/完整/自定义模式(见 tools/setup_duckdb.py)
第 3 步:回测时指定数据库路径
from easyxt_backtest import DataManager
# 指定 DuckDB 路径后,数据加载自动提速
data_manager = DataManager(duckdb_path='D:/StockData/stock_data.ddb')
💡 不指定路径也没关系:EasyXT 会自动检测
DUCKDB_PATH环境变量和常见默认路径(如D:/StockData/stock_data.ddb)。DuckDB 是可选项——没有它也能用 QMT/Tushare 跑回测,只是慢一些。
详细配置见 docs/SETUP_GUIDE.md 的「DuckDB 数据库配置」章节。
五、性能对比:10 倍提速是怎么来的?
官方文档给出的实测参考数据(1000 次回测场景):
| 数据源 | 1000 次回测耗时 | 适用场景 |
|---|---|---|
| DuckDB 本地 | 约 10 秒 | 高频回测、因子分析 |
| QMT 本地 | 约 30 秒 | 实盘交易 |
| Tushare 在线 | 约 300 秒 | 数据下载 |
对在线数据源来说,提速可以达到 30 倍左右;日常体验上"回测等待时间从分钟级降到秒级"。配合批量因子计算,做全市场 101 因子扫描这类重数据任务时,10 倍提速是普遍水平——这正是 101因子分析平台 能"拖拽式跑完全市场因子"的底座。
除此之外,DuckDB 还带来三个隐性收益:
- 📡 离线可用:数据下载一次,之后断网也能研究
- ✅ 数据完整:历史数据全量在本地,不会因接口限频导致缺数据
- 📦 易管理:备份 = 复制一个文件,换电脑 = 再复制一次
六、DuckDB 不是万能的:它适合什么、不适合什么
适合:反复回测、因子计算、批量选股、数据探索——一切"重读数据"的研究场景。
不适合替代:实盘交易仍走 QMT/miniQMT 通道,盘中实时行情仍需在线源。DuckDB 的定位是研究端的加速器,和实盘交易各司其职。
核心模块速查:
| 模块 | 作用 |
|---|---|
| data_manager/duckdb_connection_pool.py | 连接池与锁管理 |
| data_manager/unified_duckdb_manager.py | 统一下载/查询/更新 |
| easyxt_backtest/optimize_duckdb_loading.py | 批量查询与缓存优化 |
| core/data_manager/local_price_reader.py | 规范化日线读取 |
| docs/assets/DUCKDB_GUIDE.md | DuckDB 完整使用指南 |
一句话总结:EasyXT 的回测提速不是"玄学优化",而是单文件数据库 + 批量 SQL + 自动路由 + 连接池这套工程组合拳的结果。你只要把数据下载一次到本地,剩下的加速全部自动发生。
