Apache Fury反序列化Thrift对象失败问题分析

问题背景

在Apache Fury项目中，当尝试反序列化实现了自定义readObject和writeObject方法的Thrift对象时，可能会遇到反序列化失败的问题。这个问题在Fury 0.10.2、0.11.0及master分支中均存在，主要出现在使用较小的初始缓冲区大小时。

问题现象

当使用Fury序列化Thrift对象后，再尝试反序列化时，会抛出DeserializationException异常，其根本原因是Thrift抛出的TTransportException，提示"Remote side has closed"错误。具体表现为Thrift在读取数据时尝试读取1字节但实际获取0字节。

根本原因分析

1. Thrift对象的序列化机制：Thrift对象实现了自定义的readObject和writeObject方法，这使得Fury使用ObjectStreamSerializer来处理这些对象以保证兼容性。

2. Thrift的读取逻辑：Thrift的readObject方法内部会调用TTransport.readAll方法，该方法要求必须读取到指定长度的数据，否则会抛出异常。

3. Fury的InputStream实现：Fury重写了ObjectInputStream的实现，其read方法在缓冲区剩余字节不足时，会返回实际读取的字节数（可能为0），这与标准JDK实现的行为不同。

4. 行为差异：

   • JDK的InputStream.read方法允许返回0字节（当len≠0时）
   • Thrift的readAll方法不接受返回0字节的情况
   • Fury的实现在缓冲区为空时返回0字节

技术细节

Thrift的TTransport.readAll方法实现如下：

public int readAll(byte[] buf, int off, int len) throws TTransportException {
    int got = 0;
    int ret = 0;
    while (got < len) {
        ret = read(buf, off+got, len-got);
        if (ret <= 0) {
            throw new TTransportException("Cannot read...");
        }
        got += ret;
    }
    return got;
}

而Fury的FuryObjectInputStream.read实现如下：

public int read(byte[] buf, int offset, int length) throws IOException {
    // 参数检查省略...
    int remaining = buffer.remaining();
    if (remaining < length) {
        buffer.readBytes(buf, offset, remaining);
        return remaining; // 可能返回0
    } else {
        buffer.readBytes(buf, offset, length);
        return length;
    }
}

解决方案

修复方案是修改FuryObjectInputStream.read的实现，使其在缓冲区为空时强制重新填充缓冲区，而不是直接返回0字节。这样可以确保：

1. 与JDK标准行为保持一致
2. 满足Thrift等库对输入流的预期
3. 避免反序列化过程中出现无限循环或异常

经验总结

1. 在实现自定义输入流时，需要特别注意与标准库行为的兼容性
2. 对于序列化框架，处理第三方库的自定义序列化逻辑时需要格外小心
3. 边界条件（如空缓冲区）的处理往往是问题的根源
4. 单元测试应覆盖各种缓冲区大小和边界条件

这个问题展示了在框架开发中，不同组件间的隐式契约和预期行为的重要性，也提醒我们在实现兼容层时需要深入理解各方的行为规范。