性能优化全解析:futu_algo的多进程选股、自定义K线聚合与Parquet高速存储

原创2026-11-14 12:20:201,877 阅读
文章标签:金融科技桌面应用数据分析数据可视化

性能优化全解析:futu_algo的多进程选股、自定义K线聚合与Parquet高速存储

futu_algo 是一个基于富途 OpenAPI(Futu OpenD)的港股量化交易框架,覆盖「数据下载与存储 → 选股筛选 → 回测 → 实盘交易」的完整闭环。对于需要扫描上千只股票、高频读写K线数据的量化程序来说,性能就是生命线。本文带你拆解 futu_algo 在多进程选股、自定义K线聚合、Parquet 高速存储三个关键场景中的性能优化手段,帮助新手理解量化数据工程的提速思路。

📊 先看整体:数据、筛选、回测、交易四层架构

futu_algo量化交易框架:多进程选股与Parquet高速存储

futu_algo 的核心逻辑分布在 engines/ 目录下的几个引擎中,各引擎围绕统一的数据层(engines/data_engine.py)协作:

  • stock_filter_engine:全市场选股筛选
  • backtesting_engine:策略回测
  • trading_engine:实时行情订阅与下单

这种分层设计让性能优化可以「对症下药」:I/O 密集的地方用存储格式提速,CPU 密集的地方用多进程并行。

🚀 多进程选股:用 CPU 全部核心扫描全市场

选股是典型的重负载任务:需要对每只股票拉取历史数据、计算指标、逐项验证筛选条件(如成交量阈值、价格阈值、均线交叉)。如果串行执行,几千只股票可能要跑上数小时。

futu_algo 的解决方案在 engines/stock_filter_engine.py:

pool = Pool(min(len(self.full_equity_list), cpu_count()))
filtered_stock_list = pool.map(self.validate_stock, self.full_equity_list)
pool.close()
pool.join()

关键优化点:

  1. 进程数取「股票数量」与「CPU 核心数」的较小值(min(len(...), cpu_count())),避免为几千只股票各开一个进程导致调度开销失控;
  2. pool.map 自动均分任务:每只股票作为一个独立单元分发给子进程,天然适合「个股之间无依赖」的筛选场景;
  3. 筛选器可组合:filters/ 目录提供 Volume_Threshold.py、Price_Threshold.py、MA_Simple.py、Triple_Cross.py 等内置筛选器,在子进程内并行验证,命中结果汇总后通过邮件引擎推送日报。

运行一条命令即可触发全市场多进程选股:

python main_backend.py --filter Volume_Threshold Price_Threshold --market HK

💡 经验法则:I/O 或 CPU 密集、任务彼此独立 —— 这正是 multiprocessing.Pool 的最佳适用场景。

🧮 自定义K线聚合:只用1分钟数据,衍生出任意周期

富途接口按固定周期返回K线,但很多策略需要 3 分钟、15 分钟、30 分钟这类「自定义周期」。futu_algo 的做法是:只下载 1 分钟K线作为「原子数据」,其余周期全部本地聚合,既省流量、又保证周期任意可配。

聚合逻辑在 engines/data_engine.py 的 get_custom_interval_data 方法中,核心是用 pandas 的分组聚合:

agg_list = {
    "open": "first", "close": "last",
    "high": "max",   "low": "min",
    "volume": "sum", "turnover": "sum",
}
minute_df = input_df.groupby(
    pd.Grouper(freq=f'{custom_interval}min', closed='left', offset='1min', origin='start')
).agg(agg_list)

几个值得学习的细节:

  • OHLC 聚合规则符合K线定义:开取首、收取末、高取大、低取小,量与额求和;
  • offset='1min' + 时间戳回补:处理港股 09:30 开盘后首根K线的对齐问题(1min → 5min 需要补 4 分钟偏移);
  • 午间休市剔除:dropna 直接去掉跨午休的空桶,避免生成虚假K线;
  • last_close 与 change_rate 逐级重算,保证每根聚合K线的涨跌字段正确。

此外 backtesting_engine.py 的 prepare_input_data_file_custom_M 还叠加了一层优化 —— 用 pool.starmap 按股票维度多进程并行聚合多日数据,回测前的数据准备阶段同样不排队。

⚡ Parquet 高速存储:数据层的终极提速

传统 CSV 是纯文本,读取时要做类型解析,写盘也没有压缩,对「每日增量更新 + 反复读取计算」的量化场景并不友好。futu_algo 将全部K线数据落地为 Parquet 格式,体现在 engines/data_engine.py 的读写接口中:

方法 作用
save_stock_df_to_file DataFrame 直接 to_parquet 写盘
get_stock_df_from_file read_parquet 秒级读回
convert_all_csv_to_parquet 多进程批量把历史 CSV 转成 Parquet
clear_empty_data 多进程扫描并清理非交易日空文件

仓库 data/ 目录就是标准产物示例,每只股票一个文件夹、按「周期 + 日期」拆文件,例如 data/HK.09988/ 下的日K、周K与分钟K文件。

选择 Parquet 的收益:

  1. 列式存储 + 压缩,文件体积远小于 CSV,磁盘与带宽双省;
  2. 类型内嵌,读取时省去解析与转换开销;
  3. 按文件粒度增量更新:每天只写当天新文件({stock}_{date}_1M.parquet),--update 增量刷新、--force_update 全量重建互不干扰。

存量 CSV 数据的迁移也被并行化:convert_all_csv_to_parquet 同样用 Pool(cpu_count()) 让多核同时转文件,一次性把历史库「提速」完毕。

📈 性能优化清单:futu_algo 值得借鉴的 5 个手法

优化手法 应用场景 源码位置
多进程 Pool.map 全市场选股扫描 engines/stock_filter_engine.py
Pool.starmap 并行聚合 回测数据准备 engines/backtesting_engine.py
多进程文件转换 CSV → Parquet 迁移 engines/data_engine.py
1M 数据原子化 任意周期K线本地聚合 engines/data_engine.py
按日分文件增量写 K线增量更新不覆盖 engines/trading_engine.py

配合实盘侧的轻量设计 —— 实时K线每轮对单只股票的策略评估耗时约 0.01 秒 —— 整个框架从数据层到决策层都保持了「低延迟、可并行」的特性。

🏁 总结

futu_algo 给新手展示了一套务实的量化性能优化路线:数据层用 Parquet 提速 I/O,计算层用 multiprocessing 并行化,存储层用按日分文件保证增量更新。这三招不依赖任何重型组件,只用标准库 + pandas 就能落地,非常适合在自己的交易项目中复用。

想动手体验的话,可以参考 config/config_template.ini 创建配置文件,再运行 python main_backend.py --filter Volume_Threshold --market HK,观察日志中选股任务的并行执行过程。

登录后查看全文
futu_algo