OpenJ9项目中FIPS自检失败问题的分析与解决

问题背景

在OpenJ9项目的测试过程中，发现了一个与FIPS（Federal Information Processing Standards）自检相关的严重问题。具体表现为在ppc64le架构的Linux系统上运行Java安全测试时，OpenSSL的FIPS模块自检失败，导致JVM异常终止。

问题现象

测试日志显示，当启用FIPS模式（通过-Dsemeru.fips=true参数）运行测试时，系统抛出错误信息："crypto/fips/fips.c:154: OpenSSL internal error: FATAL FIPS SELFTEST FAILURE"。这个问题最早出现在2025年1月25日左右的构建版本中，表现为间歇性故障。

技术分析

FIPS自检机制

FIPS标准要求加密模块在启动时执行自检，以验证其功能是否符合标准要求。OpenSSL的FIPS实现会在初始化时执行一系列算法自检，包括：

1. 完整性验证：检查FIPS模块是否被篡改
2. 算法验证：测试加密算法实现是否正确
3. 熵检测：确保系统有足够的随机性来源

当这些自检中的任何一项失败时，OpenSSL会主动终止程序执行，以防止在不安全的状态下继续运行。

问题根源

经过深入调查，发现问题源于OpenSSL库加载顺序的变化。在某个PR合并后，代码修改了库加载顺序，优先尝试加载通用的符号链接（libcrypto.so）而非版本化库（如libcrypto.so.1.1）。当系统处于FIPS模式时，这种加载顺序会导致OpenSSL FIPS模块无法正确初始化。

解决方案

开发团队实施了多层次解决方案：

1. 库加载顺序修复：恢复原有的库加载顺序，优先尝试加载版本化库
2. OpenSSL 3.x捆绑：在所有平台上捆绑OpenSSL 3.x库，确保优先使用已知兼容版本
3. 目录结构调整：针对Java 8的特殊目录结构（lib/）进行了适配

技术影响

该问题特别影响了以下场景：

• 使用系统OpenSSL而非捆绑版本的场景
• 在FIPS模式下运行的Java应用
• ppc64le架构的Linux系统

验证与确认

解决方案经过以下验证：

1. 在之前失败的机器上使用修复后的构建成功通过测试
2. 对比了不同构建版本的行为差异
3. 确认了从特定构建版本（2025年2月19日构建1070）后问题不再出现

总结

这个案例展示了加密模块初始化过程中微妙的依赖关系，以及系统级安全标准（如FIPS）对应用程序行为的严格要求。通过这次问题解决，OpenJ9项目在加密模块加载和FIPS兼容性方面得到了显著改进，为在严格安全要求环境下运行的Java应用提供了更可靠的保障。