Jackett项目中的TorrentSeeds API请求频率优化方案

问题背景

在Jackett工具集成TorrentSeeds私有种子服务时，用户频繁遇到HTTP 429（Too Many Requests）错误。该错误源于TorrentSeeds API严格的速率限制策略——每分钟仅允许4次请求。当Jackett的默认请求间隔（5秒）与这一限制冲突时，会导致索引器被临时禁用，影响整体搜索效率。

技术原理分析

1. 速率限制机制：

   • TorrentSeeds API采用令牌桶算法实现速率控制
   • 每分钟4次请求相当于每15秒1次请求的硬性限制
   • 违反限制时返回429状态码及retry_after参数（单位：秒）

2. Jackett处理逻辑：

   • 默认requestDelay设置为5秒（即每分钟12次请求）
   • 错误触发后，*arr系列软件（如Sonarr/Radarr）会按指数退避算法暂停使用该索引器
   • 暂停时间可能长达24小时，严重影响抓取效率

解决方案实施

自定义索引器配置方案

1. 定位配置文件：

   • 检查Jackett启动日志获取定义文件路径
   • 通常位于/cardigann/definitions/目录下的torrentseeds-api.yml

2. 创建自定义配置：

   id: torrentseeds-api-custom
   name: TorrentSeeds (Custom)
   description: "Modified version with adjusted rate limits"
   language: en-US
   type: private
   encoding: UTF-8
   requestDelay: 15  # 将请求间隔调整为15秒
   

3. 部署配置：

   • 将新配置文件保存到Jackett的custom definitions目录
   • 该目录文件不会被自动更新覆盖
   • 重启Jackett服务生效

方案对比评估

方案类型	请求频率	错误率	搜索延迟	适用场景
默认配置	12/min	高	低	短期少量查询
保守配置(15s)	4/min	无	中	稳定长期运行
极端配置(60s)	1/min	无	高	避免任何错误的情况

最佳实践建议

1. 监控调整：

   • 通过Jackett日志观察实际请求频率
   • 根据错误日志微调requestDelay参数

2. 多实例策略：

   • 可创建多个配置不同的TorrentSeeds实例
   • 在*arr中设置不同优先级实现负载均衡

3. 缓存优化：

   • 适当增加*arr的缓存时间
   • 减少对高频变动的资源的重复查询

技术延伸思考

该案例揭示了分布式爬虫系统设计中的经典矛盾：实时性与稳定性的权衡。在实际工程实践中，建议采用动态速率调整算法，例如：

1. 自适应算法：

   • 初始采用保守间隔
   • 根据响应时间动态调整
   • 遇到429错误时自动加大间隔

2. 队列管理：

   • 实现请求队列优先级机制
   • 对时效性强的查询优先处理

3. 错误恢复：

   • 解析retry_after头部
   • 自动遵守服务端要求的等待时间

这种方案既符合API设计者的限流意图，又能最大化利用允许的请求配额，是更为优雅的工程解决方案。