OpenJ9项目中共享库的execstack标志问题分析与解决方案

背景介绍

在Java虚拟机实现OpenJ9项目中，某些共享库(如libj9jit29.so和libj9vm29.so)被标记为需要可执行栈(execstack)，这在启用了SELinux并配置为禁止execstack的系统上会导致运行时故障。这一问题引起了开发团队的关注，经过深入分析后找到了根本原因和解决方案。

技术原理

可执行栈标志(execstack)是Linux系统中的一个安全特性，它决定了程序是否允许在栈上执行代码。现代安全标准通常要求禁用此功能以防止栈溢出攻击。当共享库被错误地标记为需要可执行栈时，在严格的安全策略下会导致运行失败。

在编译过程中，GCC和链接器会根据以下规则处理execstack标志：

1. 使用GCC trampoline代码(如嵌套函数)的架构需要可执行栈
2. 新版本GCC会自动标记对象文件是否需要可执行栈
3. 链接器会收集这些标记并应用到整个二进制或共享库

问题分析

开发团队发现OpenJ9的多个共享库被错误标记为需要execstack，包括：

• libj9jit29.so
• libj9vm29.so
• libj9gc29.so
• libj9gc_full29.so
• libj9prt29.so

根本原因在于：

1. 使用汇编源文件(.s)生成的对象文件默认可能要求可执行栈
2. 除非这些文件包含特殊的.note.GNU-stack段明确指定栈权限
3. NASM汇编器生成的文件没有自动添加此标记
4. 链接阶段没有统一添加-z noexecstack选项

解决方案

团队提出了两种互补的解决方案：

1. 汇编文件级别修复

对于使用GNU汇编器(as)的文件，添加.note.GNU-stack段声明：

.section .note.GNU-stack,"",@progbits

对于NASM汇编文件，添加类似的声明：

section .note.GNU-stack noalloc noexec nowrite progbits

2. 链接器选项修复

在CMake构建系统中，为JIT库添加链接选项：

set_property(TARGET j9jit APPEND_STRING PROPERTY
    LINK_FLAGS " -Wl,-z,noexecstack -Wl,--version-script=${CMAKE_CURRENT_SOURCE_DIR}/build/scripts/j9jit.linux.exp")

对于非CMake(UMA)构建系统，也需要相应添加链接选项确保一致性。

验证结果

修复后验证显示所有相关共享库均不再需要可执行栈，包括：

• 核心J9库(libj9*.so)
• JDK标准库(libjava.so, libjvm.so等)
• 加密库(libcrypto-semeru.so等)

最佳实践建议

1. 对于新项目，建议统一使用单一汇编器以简化配置
2. 在构建系统中全局设置-z noexecstack链接选项
3. 为所有汇编文件(无论使用何种汇编器)添加明确的栈权限声明
4. 在CI/CD流程中加入execstack检查步骤

总结

OpenJ9团队通过深入分析共享库构建过程，找出了导致错误execstack标记的根本原因，并提供了系统性的解决方案。这一修复不仅解决了当前问题，也为项目建立了更安全的构建实践，有助于提升整体安全性。