性能优化全解析:futu_algo的多进程选股、自定义K线聚合与Parquet高速存储
性能优化全解析:futu_algo的多进程选股、自定义K线聚合与Parquet高速存储
futu_algo 是一个基于富途 OpenAPI(Futu OpenD)的港股量化交易框架,覆盖「数据下载与存储 → 选股筛选 → 回测 → 实盘交易」的完整闭环。对于需要扫描上千只股票、高频读写K线数据的量化程序来说,性能就是生命线。本文带你拆解 futu_algo 在多进程选股、自定义K线聚合、Parquet 高速存储三个关键场景中的性能优化手段,帮助新手理解量化数据工程的提速思路。
📊 先看整体:数据、筛选、回测、交易四层架构
futu_algo 的核心逻辑分布在 engines/ 目录下的几个引擎中,各引擎围绕统一的数据层(engines/data_engine.py)协作:
- stock_filter_engine:全市场选股筛选
- backtesting_engine:策略回测
- trading_engine:实时行情订阅与下单
这种分层设计让性能优化可以「对症下药」:I/O 密集的地方用存储格式提速,CPU 密集的地方用多进程并行。
🚀 多进程选股:用 CPU 全部核心扫描全市场
选股是典型的重负载任务:需要对每只股票拉取历史数据、计算指标、逐项验证筛选条件(如成交量阈值、价格阈值、均线交叉)。如果串行执行,几千只股票可能要跑上数小时。
futu_algo 的解决方案在 engines/stock_filter_engine.py:
pool = Pool(min(len(self.full_equity_list), cpu_count()))
filtered_stock_list = pool.map(self.validate_stock, self.full_equity_list)
pool.close()
pool.join()
关键优化点:
- 进程数取「股票数量」与「CPU 核心数」的较小值(
min(len(...), cpu_count())),避免为几千只股票各开一个进程导致调度开销失控; pool.map自动均分任务:每只股票作为一个独立单元分发给子进程,天然适合「个股之间无依赖」的筛选场景;- 筛选器可组合:
filters/目录提供 Volume_Threshold.py、Price_Threshold.py、MA_Simple.py、Triple_Cross.py 等内置筛选器,在子进程内并行验证,命中结果汇总后通过邮件引擎推送日报。
运行一条命令即可触发全市场多进程选股:
python main_backend.py --filter Volume_Threshold Price_Threshold --market HK
💡 经验法则:I/O 或 CPU 密集、任务彼此独立 —— 这正是
multiprocessing.Pool的最佳适用场景。
🧮 自定义K线聚合:只用1分钟数据,衍生出任意周期
富途接口按固定周期返回K线,但很多策略需要 3 分钟、15 分钟、30 分钟这类「自定义周期」。futu_algo 的做法是:只下载 1 分钟K线作为「原子数据」,其余周期全部本地聚合,既省流量、又保证周期任意可配。
聚合逻辑在 engines/data_engine.py 的 get_custom_interval_data 方法中,核心是用 pandas 的分组聚合:
agg_list = {
"open": "first", "close": "last",
"high": "max", "low": "min",
"volume": "sum", "turnover": "sum",
}
minute_df = input_df.groupby(
pd.Grouper(freq=f'{custom_interval}min', closed='left', offset='1min', origin='start')
).agg(agg_list)
几个值得学习的细节:
- OHLC 聚合规则符合K线定义:开取首、收取末、高取大、低取小,量与额求和;
offset='1min'+ 时间戳回补:处理港股 09:30 开盘后首根K线的对齐问题(1min → 5min 需要补 4 分钟偏移);- 午间休市剔除:
dropna直接去掉跨午休的空桶,避免生成虚假K线; last_close与change_rate逐级重算,保证每根聚合K线的涨跌字段正确。
此外 backtesting_engine.py 的 prepare_input_data_file_custom_M 还叠加了一层优化 —— 用 pool.starmap 按股票维度多进程并行聚合多日数据,回测前的数据准备阶段同样不排队。
⚡ Parquet 高速存储:数据层的终极提速
传统 CSV 是纯文本,读取时要做类型解析,写盘也没有压缩,对「每日增量更新 + 反复读取计算」的量化场景并不友好。futu_algo 将全部K线数据落地为 Parquet 格式,体现在 engines/data_engine.py 的读写接口中:
| 方法 | 作用 |
|---|---|
save_stock_df_to_file |
DataFrame 直接 to_parquet 写盘 |
get_stock_df_from_file |
read_parquet 秒级读回 |
convert_all_csv_to_parquet |
多进程批量把历史 CSV 转成 Parquet |
clear_empty_data |
多进程扫描并清理非交易日空文件 |
仓库 data/ 目录就是标准产物示例,每只股票一个文件夹、按「周期 + 日期」拆文件,例如 data/HK.09988/ 下的日K、周K与分钟K文件。
选择 Parquet 的收益:
- 列式存储 + 压缩,文件体积远小于 CSV,磁盘与带宽双省;
- 类型内嵌,读取时省去解析与转换开销;
- 按文件粒度增量更新:每天只写当天新文件(
{stock}_{date}_1M.parquet),--update增量刷新、--force_update全量重建互不干扰。
存量 CSV 数据的迁移也被并行化:convert_all_csv_to_parquet 同样用 Pool(cpu_count()) 让多核同时转文件,一次性把历史库「提速」完毕。
📈 性能优化清单:futu_algo 值得借鉴的 5 个手法
| 优化手法 | 应用场景 | 源码位置 |
|---|---|---|
多进程 Pool.map |
全市场选股扫描 | engines/stock_filter_engine.py |
Pool.starmap 并行聚合 |
回测数据准备 | engines/backtesting_engine.py |
| 多进程文件转换 | CSV → Parquet 迁移 | engines/data_engine.py |
| 1M 数据原子化 | 任意周期K线本地聚合 | engines/data_engine.py |
| 按日分文件增量写 | K线增量更新不覆盖 | engines/trading_engine.py |
配合实盘侧的轻量设计 —— 实时K线每轮对单只股票的策略评估耗时约 0.01 秒 —— 整个框架从数据层到决策层都保持了「低延迟、可并行」的特性。
🏁 总结
futu_algo 给新手展示了一套务实的量化性能优化路线:数据层用 Parquet 提速 I/O,计算层用 multiprocessing 并行化,存储层用按日分文件保证增量更新。这三招不依赖任何重型组件,只用标准库 + pandas 就能落地,非常适合在自己的交易项目中复用。
想动手体验的话,可以参考 config/config_template.ini 创建配置文件,再运行 python main_backend.py --filter Volume_Threshold --market HK,观察日志中选股任务的并行执行过程。
