JRuby中Open3.popen3子进程输出被限制为65536字符的问题分析

问题现象

在使用JRuby 9.4.7.0版本时，开发者发现通过Open3.popen3启动的子进程，其输出内容被限制在了65536个字符。这个限制在特定版本的OpenJDK（21和22）中出现，而在Ubuntu提供的OpenJDK 21和OpenJDK 23早期版本中则表现正常。

技术背景

Open3.popen3是Ruby标准库中用于创建子进程并与其进行I/O通信的重要方法。它允许父进程与子进程的标准输入、输出和错误流进行交互。在JRuby中，这一功能是通过Java的进程API实现的。

问题复现

开发者提供了一个简单的测试脚本，清晰地展示了这个问题：

require 'open3'
File.write('tmp.txt', '0' * 70000)

# 测试1：通过cat命令读取文件
Open3.popen3('cat tmp.txt') do |i, o, e, t|
    puts o.gets.size # 在问题JDK中输出65536
end

# 测试2：直接通过Ruby生成输出
Open3.popen3('ruby -e "print ?0 * 70000"') do |i, o, e, t|
    puts o.gets.size # 输出70000（正常）
end

# 测试3：通过管道组合命令
Open3.popen3('ruby -e "print ?0 * 70000"|cat') do |i, o, e, t|
    puts o.gets.size # 在问题JDK中输出65536
end

问题影响

这个问题不仅影响了简单的命令行工具使用，还实际影响到了像sass-embedded这样的Ruby gem。该gem通过子进程与Dart VM通信，当生成的CSS输出较大时（超过65536字节），会导致子进程因资源不可用错误而永久挂起。

根本原因

经过JRuby核心开发团队的分析，这个问题与Java平台本身的一个已知问题相关。具体来说，是Java 21和22版本中管道I/O处理的缺陷导致的。这个问题在Java 23中已经得到修复，并且修复将会回溯到Java 21.0.4版本。

临时解决方案

对于需要使用受影响JDK版本的用户，JRuby团队提供了一个有效的临时解决方案：在子进程中显式设置和清除流的非阻塞标志。这可以通过以下Ruby代码实现：

require 'fcntl'
flags = write.fcntl(Fcntl::F_GETFL)
write.fcntl(Fcntl::F_SETFL, flags | (Fcntl::O_NONBLOCK)) # 设置非阻塞
write.fcntl(Fcntl::F_SETFL, flags & (~Fcntl::O_NONBLOCK)) # 清除非阻塞

长期解决方案

对于生产环境，建议用户：

1. 等待OpenJDK 21.0.4版本的发布（预计2024年7月）
2. 或者升级到OpenJDK 23及以上版本
3. 使用Ubuntu等发行版提供的经过补丁的OpenJDK 21版本

技术启示

这个问题展示了跨语言运行时（如JRuby）可能遇到的独特挑战。当Ruby代码通过JVM实现时，不仅需要考虑Ruby语言本身的特性，还需要考虑JVM实现细节对功能的影响。这也提醒开发者在处理大量数据流时，需要特别注意平台特定的限制和行为差异。