JohnTheRipper中格式索引重映射引发的自测回归问题分析

问题背景

在密码分析工具JohnTheRipper的最新开发版本中，开发团队发现了一个与格式索引重映射相关的自测回归问题。该问题主要影响使用OpenCL加速的密码哈希格式，如raw-md5-opencl等，导致这些格式在自测阶段出现失败。

问题现象

当运行特定格式的自测时，系统会报告如下错误：

form=raw-md5-opencl guesses: 0 -show=0 N/A N/A : Expected count(s) (1500) [!!!FAILED2!!! ret_val=256 exited, return code 1]
Self test failed (cmp_one(2))

这个问题最初是在一个涉及OpenCL实现的提交后出现的，该提交原本是为了改进自测逻辑，但在处理某些特殊格式时产生了副作用。

技术分析

索引重映射机制

JohnTheRipper中的某些密码分析格式（特别是使用OpenCL加速的格式）会执行"索引重映射"操作。这种机制允许格式内部重新排列处理顺序，通常是为了优化性能。例如：

1. 按密码长度分组：像RAR这样的格式会按密码长度重新排序索引，以提高处理效率
2. 设备端比较：某些OpenCL格式（如zip-opencl）会在设备端直接进行比较，而不使用标准的掩码机制

自测逻辑的缺陷

问题的核心在于自测代码中的以下检查逻辑：

if (match == count)

这段代码假设当所有密码都匹配时，输入的索引顺序应该保持不变。然而，对于执行索引重映射的格式，这个假设不成立，导致自测失败。

解决方案

开发团队提出了几种解决方案：

1. 添加格式属性标志：引入一个新的格式属性来明确标识哪些格式会执行索引重映射
2. 使用现有标志作为代理：暂时利用现有的FMT_MASK标志来识别可能重映射索引的格式
3. 完全回退变更：作为最后手段，可以回退引发问题的提交

经过测试，团队采用了第二种方案作为临时修复：

if (match == count && !(format->params.flags & FMT_MASK))

这个修改排除了所有OpenCL格式（它们都设置了FMT_MASK标志）以及ZTEX格式，使自测能够正常通过。

影响范围

该问题主要影响以下类型的格式：

1. 使用OpenCL加速的格式（如raw-md5-opencl、raw-sha256-opencl等）
2. 在设备端执行比较而不使用标准掩码机制的格式（如zip-opencl）
3. 内部重新排列索引顺序的格式（如RAR）

未来改进方向

虽然临时解决方案有效，但更完善的长期解决方案应包括：

1. 引入专门的格式属性来明确标识索引重映射行为
2. 改进自测框架，使其能够正确处理索引重映射的情况
3. 为格式开发者提供更清晰的文档，说明索引重映射的最佳实践

结论

这个案例展示了密码分析工具中性能优化与正确性验证之间的微妙平衡。索引重映射虽然能提高性能，但也带来了测试复杂度的增加。JohnTheRipper团队通过仔细分析和渐进式改进，既保持了性能优势，又确保了工具的正确性。