BRPC中Stream RPC服务端向客户端发送消息的时序问题分析

在分布式系统开发中，双向流式RPC(Stream RPC)是一种强大的通信模式，它允许客户端和服务端建立连接后，双方可以随时发送消息。Apache BRPC作为一款优秀的RPC框架，提供了完善的Stream RPC支持。然而，在使用过程中，如果不注意消息发送的时序，可能会遇到一些难以排查的问题。

问题现象

开发者在实现一个BRPC Stream RPC服务时，遇到了一个奇怪的现象：服务端在向客户端发送流式消息后，客户端解析响应失败，最终导致RPC调用超时。从日志中可以看到，客户端在解析响应时发现协议头不符合预期，报出了"header is not PRPC"的错误。

问题分析

通过深入分析BRPC的实现机制，我们发现这个问题源于服务端消息发送的时序问题。在BRPC的Stream RPC实现中，有一个重要的时序约束：

1. 服务端必须首先完成RPC响应（即调用done->Run()）
2. 然后才能通过StreamWrite发送流式消息

如果违反这个时序，先发送流式消息再完成RPC响应，就会导致客户端在解析时出现混乱。这是因为BRPC协议规定，客户端首先需要接收并解析RPC响应，建立好流式通道后，才能正确处理后续的流式消息。

正确的实现方式

正确的服务端实现应该遵循以下步骤：

1. 接受流式连接（StreamAccept）
2. 准备并发送RPC响应（通过done->Run()）
3. 通过StreamWrite发送流式消息

示例代码如下：

void MyServer::MyMethod(::google::protobuf::RpcController* cntl_base,
                       const MyRequest* request,
                       MyResponse* response,
                       ::google::protobuf::Closure* done) {
    brpc::ClosureGuard done_guard(done);
    
    // 1. 接受流式连接
    brpc::StreamId stream_id;
    if (brpc::StreamAccept(&stream_id, *static_cast<brpc::Controller*>(cntl_base), nullptr) != 0) {
        response->set_success(false);
        return;
    }

    // 2. 发送RPC响应
    done_guard.reset(nullptr);
    
    // 3. 发送流式消息
    butil::IOBuf serialized_message_iobuf = GenerateData();
    if (brpc::StreamWrite(stream_id, serialized_message_iobuf) != 0) {
        brpc::StreamClose(stream_id);
    }
}

客户端实现要点

客户端实现也需要注意几个关键点：

1. 创建流式连接（StreamCreate）
2. 发起RPC调用
3. 实现StreamInputHandler接口处理流式消息
4. 正确处理流式连接的关闭和超时

示例客户端实现：

class ClientHandler : public google::protobuf::Closure, public brpc::StreamInputHandler {
public:
    void Run() override {
        // RPC响应处理
        if (cntl_.Failed()) {
            brpc::StreamClose(stream_id_);
            return;
        }
        // 其他处理...
    }

    int on_received_messages(brpc::StreamId id, butil::IOBuf* const messages[], size_t size) override {
        // 处理流式消息
        return 0;
    }

    void SendRequest() {
        brpc::StreamOptions options;
        options.handler = this;
        if (brpc::StreamCreate(&stream_id_, cntl_, &options) == 0) {
            MyService_Stub(channel_.get()).MyMethod(&cntl_, &request_, &response_, this);
        }
    }

private:
    brpc::StreamId stream_id_;
    // 其他成员变量...
};

总结

在使用BRPC的Stream RPC功能时，开发者需要特别注意消息发送的时序问题。服务端必须先完成RPC响应，再发送流式消息，这是BRPC协议的一个基本约束。违反这个约束会导致协议解析失败，进而引发各种难以排查的问题。

正确的实现方式不仅能避免这些问题，还能使系统更加健壮和可靠。希望本文的分析能够帮助开发者更好地理解和使用BRPC的Stream RPC功能。