John the Ripper在AMD Vega显卡上的OpenCL兼容性问题分析

问题背景

John the Ripper作为一款流行的密码分析工具，其OpenCL加速功能在不同GPU架构上的表现存在差异。特别是在AMD Vega 64显卡上，多个使用OpenCL加速的哈希算法实现出现了自测试失败的情况。

核心问题表现

在AMD Vega 64显卡上，多个使用HMAC-SHA1、HMAC-SHA256和HMAC-SHA512算法的格式在自测试中失败。具体表现为：

1. ZIP格式（使用PBKDF2-SHA1）在最终HMAC-SHA1计算时输出值不正确
2. EncFS和PFX格式同样出现HMAC相关计算错误
3. 其他使用AES加密的格式如KeePass、TrueCrypt等也出现验证失败

问题根源分析

经过深入调试，发现问题主要出现在以下几个方面：

1. 上下文重用问题：在HMAC计算过程中，SHA上下文结构体被重复使用时，AMD显卡的OpenCL编译器可能没有正确初始化所有字段。这导致后续计算基于错误的状态进行。

2. 编译器优化问题：AMD的OpenCL编译器在某些情况下会过度优化，导致关键变量被错误地重用或忽略。通过插入volatile限定符或内存屏障可以部分解决。

3. 32/64位兼容性问题：部分内核代码中将64位变量截断为32位使用，虽然这不是主要问题根源，但存在潜在风险。

解决方案

针对这些问题，开发团队提出了以下解决方案：

1. 上下文隔离：为每次HMAC计算创建新的上下文结构体，避免重用：

#if gpu_amd(DEVICE_INFO)
SHA_CTX ctx2;
#define ctx ctx2
#endif

2. 内存访问控制：在关键位置插入volatile访问，防止编译器过度优化：

(void) *(volatile __global uint *)&out[ix].hash[0];

3. 算法实现调整：对HMAC-SHA256和HMAC-SHA512也应用类似的修复措施，使更多格式能够通过测试。

修复效果

应用这些修复后，大多数格式在Vega 64上通过了自测试：

• ZIP、EncFS、PFX等格式恢复正常
• 使用PBKDF2-SHA512的格式如GELI、1Password Cloud Keychain也通过测试
• 总体失败测试从14个减少到5个

遗留问题

仍有部分使用AES加密的格式未能通过测试：

1. AxCrypt 2.x (PBKDF2-SHA512 AES)
2. KeePass (AES)
3. PGP Disk (SHA1 AES/TwoFish/CAST)
4. TrueCrypt (RIPEMD160 AES256_XTS)

这些问题可能与AES实现相关的更深层次编译器优化问题有关，需要进一步研究。

跨平台对比

值得注意的是，这些问题在NVIDIA显卡上并不存在，所有101个测试格式都能通过。在Intel CPU上，失败的模式也不同，主要是一些特定算法如DES和GOST的实现问题。

总结

AMD Vega显卡上的OpenCL实现存在一些特殊的编译器行为，特别是在上下文重用和内存访问优化方面。通过针对性的工作区方法，John the Ripper团队成功解决了大部分兼容性问题。这些经验也为在其他AMD GPU架构上的OpenCL优化提供了参考。对于仍存在的AES相关问题，可能需要更深入的内核代码审查或等待AMD驱动更新来解决。