etcd项目GRPC-JSON网关在TLS环境下出现panic问题分析

etcd作为分布式键值存储系统，其GRPC-JSON网关功能允许客户端通过HTTP/JSON接口与etcd服务交互。在3.6.0-rc.0和3.6.0-rc.1版本中，当使用TLS加密连接并通过GRPC-JSON网关发送watch请求时，etcd服务会出现panic崩溃问题。

问题现象

当客户端通过HTTPS协议向etcd的/v3/watch端点发送watch请求时，etcd服务会抛出"Write called after Handler finished"的panic错误。这个问题仅在启用TLS加密连接时出现，且只影响3.6.0-rc.0和3.6.0-rc.1版本，之前的3.5.15及更早版本均无此问题。

问题重现

通过以下步骤可以稳定重现该问题：

1. 生成自签名TLS证书
2. 启动etcd 3.6.0-rc.1服务并配置TLS
3. 使用curl发送分块编码的watch请求
4. 随后发送kv put操作

技术分析

通过堆栈跟踪分析，panic发生在golang.org/x/net/http2包的responseWriter.Write方法中。深入调查发现，问题根源在于grpc-gateway/v2从2.22.0升级到2.23.0版本后，对错误处理逻辑的变更。

在旧版本中，某些错误会被静默忽略，而新版本开始显式处理这些错误。当HTTP handler已经完成但仍有写入操作尝试时，就会触发panic。这种情况在TLS连接下更容易出现，因为TLS连接的处理流程与普通HTTP连接有所不同。

解决方案

grpc-gateway项目团队迅速响应，在v2.26.2版本中修复了此问题。考虑到etcd项目仍在使用Go 1.23，grpc-gateway又发布了v2.26.3版本，降低了对Go版本的要求。

etcd项目通过以下方式解决了该问题：

1. 将grpc-gateway依赖升级到v2.26.3
2. 修复代码中可能导致handler完成后仍尝试写入的情况

影响范围

该问题仅影响：

• etcd 3.6.0-rc.0
• etcd 3.6.0-rc.1
• 使用TLS加密连接
• 通过GRPC-JSON网关发送watch请求的场景

最佳实践

对于生产环境，建议：

1. 避免在单个端口上同时提供HTTP和gRPC服务
2. 监控etcd服务的panic日志
3. 及时升级到包含修复的版本
4. 测试环境充分验证watch功能在TLS下的稳定性

此问题的快速解决展现了开源社区的高效协作，从问题报告到修复发布仅用了很短时间，确保了etcd 3.6.0版本的顺利推进。