Yeti平台Censys插件查询结果限制优化方案解析

背景与问题分析

在网络安全情报分析领域，Yeti平台作为开源威胁情报平台，其Censys插件默认配置会获取查询的全部结果（通过设置pages=-1）。这种设计在"宽网"查询场景下存在显著问题：

1. 大量API调用会快速消耗服务配额
2. 可能触发API速率限制
3. 对系统资源造成不必要压力

技术实现现状

当前实现直接调用Censys Python SDK的搜索功能，默认行为会遍历所有可用页面。Censys API本身支持两个关键参数控制结果集：

• per_page：每页返回结果数（最大值100）
• pages：获取的页数

优化方案设计

建议采用更智能的结果限制机制，核心设计要点包括：

1. 统一配置接口 引入max_results参数作为用户可配置项，替代直接暴露底层API参数，提供更友好的配置体验

2. 智能分页计算 根据max_results自动计算最优分页策略：

   per_page = min(100, max_results)  # API限制每页最大100条
   pages = math.ceil(max_results / per_page)
   

3. 边界处理

   • 当max_results=None时保持当前全量获取行为
   • 确保总返回数不超过max_results
   • 添加参数合法性校验

实现优势

1. 资源保护 有效防止意外的大规模查询消耗配额

2. 使用便利性 用户只需关注需要的结果总数，无需了解API分页细节

3. 性能优化 通过合理设置per_page减少API调用次数

技术细节建议

实现时应注意：

1. 在插件配置类中添加max_results字段
2. 修改查询执行逻辑，应用新的分页策略
3. 添加配置文档说明
4. 考虑添加查询结果截断警告日志

总结

该优化方案在保持功能完整性的同时，显著提升了资源利用效率和用户体验，体现了从"能用"到"好用"的设计演进思路。对于类似API集成场景，这种抽象配置参数的设计模式也值得借鉴。