libhv项目中HttpService::Proxy反向代理的缓冲区溢出问题分析

问题背景

在libhv项目v1.3.2版本中，使用HttpService::Proxy进行反向代理时，偶尔会出现向后台服务器发送无效内容的情况。当启用AddressSanitizer(ASan)内存检测工具时，程序会因堆缓冲区溢出而异常终止。

问题现象

通过AddressSanitizer的错误报告可以看到，问题发生在HttpMessage::DumpBody函数中，当尝试读取524字节数据时发生了堆缓冲区溢出。调用栈显示这个错误是在处理反向代理请求时发生的，具体是在将请求转发到后端服务器之前，对请求消息进行序列化(dump)的过程中。

根本原因分析

经过深入分析，发现问题的根源在于以下几个方面：

1. 请求解析时机不当：在HttpHandler::sendProxyRequest()函数中，直接调用了req->Dump()方法，而此时请求(req)尚未完全解析，特别是请求体(body)部分可能还未准备好。

2. 内容长度设置缺失：在HttpMessage类的Content()方法中，当从body.data()获取内容指针时，没有同步更新content_length字段，导致后续处理时使用了错误的长度值。

3. 多阶段处理问题：对于multipart/form-data和application/json等特殊内容类型的请求，由于代理连接建立时请求体可能还未完全接收，导致自动生成的body内容与实际情况不符。

具体问题表现

对于不同类型的请求内容，问题表现出不同的症状：

1. multipart/form-data类型：

   • 浏览器发送的正确数据格式完整规范
   • 但经过libhv转发后，数据边界标记(--)位置错乱，部分内容顺序颠倒

2. application/json类型：

   • 原始JSON数据前被错误地添加了"null"字符串
   • 导致后端服务器无法正确解析JSON内容

解决方案

经过项目维护者和贡献者的讨论，确定了以下修复方案：

1. 修改请求序列化方式：

   • 避免直接使用Dump(true, true)同时转储头部和体部
   • 改为分别转储头部和体部后再合并

2. 完善Content方法：

   • 在设置content指针时同步更新content_length
   • 确保内容长度与实际数据一致

3. 处理时序问题：

   • 确保在转发请求体前已完全接收原始请求
   • 对特殊内容类型进行特别处理

修复代码示例

核心修复代码包括两部分修改：

1. HttpHandler.cpp中的转发逻辑修改：

// 原代码
std::string msg = req->Dump(true, true);

// 修改后
std::string msg = req->Dump(true, false) + req->body;

2. HttpMessage.h中的Content方法增强：

void* Content() {
    if (content == NULL && body.size() != 0) {
        content = (void*)body.data();
        content_length = body.size();  // 新增此行
    }
    return content;
}

技术启示

这个问题给我们几个重要的技术启示：

1. 网络代理实现要点：

   • 必须正确处理请求的各个阶段
   • 特别是对分块传输或大请求体的处理要格外小心

2. 内存安全实践：

   • 指针和长度必须始终保持同步
   • 使用ASan等工具可以及早发现潜在的内存问题

3. 协议实现细节：

   • 对HTTP协议各种内容类型的特殊处理
   • 保持原始请求的完整性对反向代理至关重要

总结

libhv作为高性能网络库，其反向代理功能在实际应用中非常有用。通过这次问题的分析和修复，不仅解决了缓冲区溢出的安全隐患，还完善了对各种HTTP内容类型的处理逻辑。这提醒我们在实现网络代理功能时，需要特别注意请求处理的生命周期和内存管理的严谨性。