OpenJ9项目中共享库的execstack标志问题分析与解决方案

背景介绍

在Linux系统中，execstack标志用于标记共享库是否需要可执行栈。当SELinux等安全机制启用并配置为禁止execstack时，带有该标志的共享库可能导致运行时错误。近期在OpenJ9项目中，用户报告了JVM在SELinux环境下因libj9jit29.so和libj9vm29.so等库被标记为需要execstack而导致的运行失败问题。

问题分析

经过技术团队深入调查，发现OpenJ9项目中多个共享库存在不必要的execstack标志设置问题。具体表现为：

1. 在Java 17.0.12.1版本中，libj9jit29.so和libj9vm29.so两个库被标记为需要execstack
2. 在IBM SDK 8.0.8.30版本中，只有jit库受到影响
3. 在zLinux架构上，问题更为广泛，涉及libj9gc29.so、libj9gc_full29.so、libj9prt29.so等多个库

技术团队通过实验发现，清除这些库的execstack标志后，JVM能够正常运行标准测试用例，表明这些标志可能是错误设置的。

根本原因

问题的根源在于链接过程中的栈可执行性标记机制：

1. 当链接包含汇编源文件(.s)生成的目标文件时，这些文件默认被认为可能需要可执行栈，除非它们包含特殊的.note.GNU-stack段来明确指定栈权限
2. 对于使用NASM汇编器生成的.nasm文件，情况类似，但没有简单的方法传递noexecstack标志
3. 较新版本的binutils(2.39+)会警告缺少.note.GNU-stack段的情况，并默认使栈可执行

解决方案

技术团队提出了两种解决方案：

方案一：修改汇编源文件

在汇编源文件中添加明确的栈权限标记。例如，在x86架构的汇编文件中添加：

section .note.GNU-stack noalloc noexec nowrite progbits

这种方法虽然有效，但存在以下缺点：

1. 需要为每个架构单独处理
2. 容易遗漏新增的汇编文件
3. 维护成本较高

方案二：修改链接参数

更优的解决方案是在链接阶段直接传递-z noexecstack参数。具体实现方式为：

对于CMake构建系统，修改runtime/compiler/CMakeLists.txt文件：

 set_property(TARGET j9jit APPEND_STRING PROPERTY
-    LINK_FLAGS " -Wl,--version-script=${CMAKE_CURRENT_SOURCE_DIR}/build/scripts/j9jit.linux.exp")
+    LINK_FLAGS " -Wl,-z,noexecstack -Wl,--version-script=${CMAKE_CURRENT_SOURCE_DIR}/build/scripts/j9jit.linux.exp")

这种方法更为可靠，因为它：

1. 全面覆盖所有链接的库
2. 不依赖于单个源文件的修改
3. 维护成本低

验证结果

技术团队验证了解决方案的有效性：

1. 在zLinux架构上，所有库的execstack标志都被正确清除
2. 测试了包括-version命令和标准基准测试在内的多种场景，均正常运行
3. 确认了libjvm.so、libmanagement_ext.so等关键库的正确性

最佳实践建议

基于此次问题的解决经验，建议：

1. 在构建安全敏感的应用时，应检查所有共享库的execstack标志
2. 对于JVM项目，应考虑在构建脚本中统一添加-z noexecstack链接参数
3. 定期使用execstack工具验证生成的共享库
4. 对于使用多种汇编器(如GNU as和NASM)的项目，应确保一致的栈权限策略

总结

OpenJ9项目中共享库的execstack标志问题展示了安全机制与实际运行环境之间的微妙关系。通过系统性地分析问题根源并实施可靠的解决方案，技术团队不仅解决了当前问题，还为类似场景提供了可借鉴的经验。这种从具体问题出发，深入技术细节，最终形成通用解决方案的过程，体现了开源社区协作和技术创新的价值。