mitmproxy中Set-Cookie头合并问题分析与解决方案

问题背景

在使用mitmproxy进行网络请求处理时，开发人员发现当源服务器响应中包含多个Set-Cookie头时，mitmproxy会自动将它们合并为一个。这种合并行为导致某些网站（特别是使用Firefox浏览器访问时）只能识别第一个cookie，从而引发功能异常。

技术细节分析

该问题主要涉及HTTP/2协议下的Set-Cookie头处理机制。在HTTP/2中，虽然多个相同名称的头部字段理论上可以通过特殊的分隔符合并为一个字段，但对于Set-Cookie这种特殊头部，RFC标准明确要求不能合并，必须保持为多个独立头部。

mitmproxy默认的头部处理逻辑对所有头部采用相同的合并策略，没有针对Set-Cookie这种特殊头部做例外处理。当服务器收到源服务器的多个Set-Cookie响应头时，会自动将它们合并为一个逗号分隔的字符串，这违反了HTTP协议规范。

问题复现条件

1. 使用mitmproxy 11.0.2版本
2. 网络请求处理模式下工作
3. 源服务器使用HTTP/2协议
4. 服务器响应中包含多个Set-Cookie头
5. 客户端使用Firefox浏览器（其他浏览器可能对不规范响应有更好的容错能力）

解决方案

方案一：使用Headers API正确处理多个Set-Cookie头

mitmproxy提供了专门的Headers API来处理这种情况。正确的做法是使用get_all()和set_all()方法来操作多个相同名称的头部：

# 获取所有Set-Cookie头
cookies = flow.response.headers.get_all("set-cookie")

# 修改后重新设置
flow.response.headers.set_all("set-cookie", modified_cookies)

方案二：避免直接操作headers字典

原始问题中的解决方案直接操作headers字典，这是不推荐的：

# 不推荐的做法（会导致合并）
rsp.headers["set-cookie"] = re.sub(...)

应该改为使用上述的get_all/set_all方法，这样可以保持多个Set-Cookie头的独立性。

深入理解

Set-Cookie头的特殊性在于：

1. 每个Set-Cookie头代表一个独立的cookie设置指令
2. 不能简单地用逗号分隔多个cookie值
3. HTTP/2协议明确禁止合并Set-Cookie头

mitmproxy作为中间处理工具，在处理这类特殊头部时需要格外注意保持协议合规性。开发人员在编写mitmproxy插件或修改响应时，应当使用框架提供的专用API来操作头部，而不是直接操作底层的字典结构。

最佳实践建议

1. 始终使用get_all()和set_all()方法来操作可能包含多个值的头部
2. 对于Set-Cookie头，特别注意保持其独立性
3. 在开发mitmproxy插件时，充分测试各种浏览器的兼容性
4. 了解不同HTTP版本对头部处理的特殊要求

通过遵循这些实践，可以避免因头部处理不当导致的各类兼容性问题。