yfinance库中Screener模块获取全量证券数据的解决方案

背景介绍

yfinance作为Python中流行的金融数据获取库，其Screener模块提供了强大的证券筛选功能。但在实际使用中，许多开发者发现通过Screener获取数据时存在250条记录的限制，这给需要全量数据的分析场景带来了挑战。

问题本质

通过分析源码和实际测试，我们发现这个250条的限制并非yfinance库本身的限制，而是Yahoo Finance API的服务端限制。当开发者尝试通过set_default_body()方法设置超过250的size参数时，API会返回400错误。

技术解决方案

分页获取机制

我们可以利用Yahoo Finance API支持的offset参数实现分页获取。具体实现思路如下：

1. 首次请求获取前250条记录
2. 后续请求通过递增offset参数获取后续批次
3. 合并所有批次的结果

代码实现示例

import yfinance as yf

# 构建筛选条件
r1 = yf.EquityQuery('eq', ['sector', 'Basic Materials'])
r2 = yf.EquityQuery('eq', ['region', 'us'])
crit = yf.EquityQuery('and', [r1,r2])

# 设置分页参数
increment = 250
all_results = []
offset = 0

screener = yf.Screener()

while True:
    # 设置当前分页参数
    screener.set_default_body(crit, size=increment, offset=offset)
    
    # 获取当前页数据
    current_page = screener.response
    
    if not current_page or len(current_page) == 0:
        break
        
    all_results.extend(current_page)
    offset += increment

注意事项

1. 性能考量：分页获取会增加网络请求次数，建议合理设置increment值平衡效率与成功率
2. 错误处理：建议添加重试机制处理可能的网络波动
3. 数据去重：合并结果时应注意检查是否有重复记录
4. API限制：注意Yahoo Finance API可能有请求频率限制

扩展思考

对于大规模数据获取需求，可以考虑：

1. 结合多线程/协程技术加速数据获取
2. 实现本地缓存机制避免重复请求
3. 开发自动化的增量更新策略

总结