reqwest项目中的HTTP/2连接取消问题分析与解决

问题背景

在reqwest项目中，用户报告了一个从0.11.27版本升级到0.12.x版本后出现的HTTP/2连接问题。该问题表现为在使用异步方式批量下载文件时，随机出现连接被取消的错误，错误信息为"hyper::Error(Canceled, "connection closed")"。

问题现象

用户在使用reqwest的异步API批量下载文件时，采用了分块并发的方式（每组4个文件同时下载）。在0.11.27版本中，这种模式工作正常，但当升级到0.12.x版本后，开始出现随机性的连接取消错误。

错误日志显示，当HTTP/2连接出现问题时，系统无法自动重试请求，最终导致下载失败。相比之下，旧版本(0.11.27)能够优雅地处理这类情况并自动重试。

技术分析

通过对比两个版本的日志，我们可以发现关键差异：

1. 错误处理机制变化：0.12.x版本在某些HTTP/2连接错误情况下不再自动重试请求，而旧版本则能够正确处理并重试。

2. HTTP/2协议细节：从日志中可以看到，新版本在处理流(Stream)状态转换时，会将流状态标记为"Closed(ScheduledLibraryReset(CANCEL))"，然后发送RST_STREAM帧(CANCEL类型)来取消流。而旧版本则能正常接收HEADERS帧和DATA帧，完成数据传输。

3. 底层hyper库变更：这个问题与hyper库的HTTP/2实现相关，特别是在处理GOAWAY帧和连接取消时的行为发生了变化。

解决方案

这个问题本质上是一个上游hyper库的问题，已经在hyper项目中得到了修复。具体来说：

1. hyper库增加了新的try_send_request方法，提供了更可靠的请求发送机制。

2. 修复了HTTP/2连接在某些错误情况下过早关闭的问题。

3. 改进了连接错误处理和重试逻辑。

对开发者的建议

对于遇到类似问题的开发者，建议：

1. 确保使用最新版本的reqwest和hyper库，这些版本已经包含了相关修复。

2. 在实现批量下载功能时，考虑增加自定义的重试逻辑，特别是对于瞬态网络错误。

3. 监控HTTP/2连接状态，对于频繁出现的连接取消情况，可以考虑暂时降级到HTTP/1.1作为临时解决方案。

4. 合理控制并发连接数，避免对服务器造成过大压力，同时也减少连接竞争导致的问题。

总结

这个案例展示了网络库升级可能带来的兼容性问题，特别是在处理HTTP/2这样的复杂协议时。reqwest团队通过上游hyper库的修复解决了这个问题，体现了开源生态中上下游协作的重要性。对于开发者而言，保持依赖库的更新并及时关注变更日志是避免类似问题的有效方法。