AFL++项目中CI持续模糊测试的最佳实践

概述

在软件开发过程中，持续集成(CI)环境下的模糊测试(Fuzzing)是一个复杂但极具价值的工作。本文将以AFL++项目为例，深入探讨如何在CI环境中高效实施模糊测试，特别是针对SQL解析器这类需要不断更新输入语料库的场景。

模糊测试在CI环境中的挑战

传统CI环境下的模糊测试面临几个关键挑战：

1. 语料库管理问题：当被测系统(如SQL数据库)不断演进时，支持的语法和函数会不断增加，需要定期更新输入语料库。

2. 测试连续性：CI作业通常是短暂的，如何在多次运行间保持测试的连续性，避免每次都从头开始。

3. 效率问题：如何在有限的计算资源下最大化模糊测试的效果。

AFL++的恢复机制

AFL++提供了fastresume.bin机制来支持测试会话的恢复，但需要注意以下几点：

• 二进制一致性：只有当目标二进制文件未重新编译时，fastresume.bin才有效。如果二进制文件发生变化，AFL++会检测到变化并执行重新校准，忽略fastresume.bin中的数据。

• 新种子添加：在恢复会话的同时添加新种子，可以使用afl-addseeds工具将新种子添加到现有的输出目录中。

推荐的CI模糊测试策略

基于实践经验，我们推荐以下策略：

1. 分离模糊测试与CI流程：直接在CI中进行模糊测试通常效果不佳，因为：

   • 发现的崩溃可能与PR中的变更无关，导致开发者困扰
   • CI时间有限，长时间的模糊测试会延迟合并流程

2. 建立独立的模糊测试流程：

   • 定期(每日/每周)重建目标进行模糊测试
   • 维护并持续更新语料库
   • 在已有基础上重启模糊器

3. 语料库管理：

   • 将语料库与测试工具放在同一项目仓库中
   • 采用增量更新策略，而非每次完全重新播种

具体实施建议

对于SQL解析器的模糊测试场景：

1. 种子管理：

   • 维护一个基础语料库，包含各种支持的查询
   • 当数据库新增语法/函数时，添加相应的示例查询

2. 会话恢复：

   • 使用afl-fuzz -i -命令恢复之前的会话
   • 通过afl-addseeds添加新种子

3. 结果处理：

   • 定期将崩溃数据上传到专门的分析存储
   • 建立自动化分析流程，筛选有意义的崩溃

结论

在CI环境中实施有效的模糊测试需要精心设计的策略。通过理解AFL++的恢复机制，建立独立的模糊测试流程，并采用合理的语料库管理方法，可以在保证开发效率的同时最大化模糊测试的效果。特别对于像SQL解析器这样不断演进的目标，增量式的测试策略尤为重要。