Feroxbuster工具中robots.txt重定向循环导致程序挂起的Bug分析

Feroxbuster是一款流行的目录扫描工具，最近在其2.10.1版本中发现了一个严重的程序挂起问题。当目标网站的robots.txt文件存在重定向循环时，会导致整个扫描进程停滞。

问题现象

在特定配置下，当Feroxbuster尝试访问存在重定向循环的robots.txt文件时，程序会完全停止响应。具体表现为：

• 程序卡在扫描初期阶段
• 日志显示"too many redirects"错误后不再继续
• 扫描进度条冻结

技术分析

通过代码审查发现，问题根源在于程序对robots.txt文件的处理逻辑存在缺陷：

1. 程序在扫描初期会优先请求robots.txt文件
2. 当遇到重定向循环时，错误处理不当
3. 错误导致扫描事件处理器提前退出
4. 后续目录无法加入处理队列

这种设计使得robots.txt请求失败会级联影响整个扫描流程，而不是作为可恢复的错误处理。

复现方法

可以使用简单的Flask服务器模拟该问题：

from flask import Flask, redirect
app = Flask(__name__)

@app.route('/robots.txt')
def robots():
    return redirect('/robots.txt')  # 创建重定向循环

if __name__ == '__main__':
    app.run(debug=True)

配合Feroxbuster执行扫描即可复现该问题。

解决方案

项目维护者已修复此问题，主要改进包括：

1. 优化错误处理流程，防止扫描处理器提前退出
2. 将robots.txt请求失败作为可恢复错误处理
3. 确保主扫描流程不受辅助请求失败影响

建议用户升级到修复后的版本以获得稳定体验。对于安全测试人员，了解此类工具边界条件有助于更有效地使用工具和解读结果。

经验总结

这个案例展示了Web安全工具开发中的常见挑战：

• 需要妥善处理各种HTTP异常情况
• 辅助功能不应影响核心流程
• 重定向循环等边界条件需要特别考虑

对于安全从业人员，理解工具内部机制有助于更有效地使用工具和排查问题。同时，这个案例也体现了开源社区协作的价值，用户反馈帮助改进了工具质量。