Pingora项目TLS性能基准测试实践
2025-05-08 02:27:12作者:彭桢灵Jeremy
在Pingora项目开发过程中,TLS(传输层安全协议)的性能优化一直是一个重要课题。本文深入探讨了如何为Pingora-core中的TLS接收器(acceptor)和连接器(connector)建立可靠的性能基准测试体系。
性能测试的必要性
TLS作为现代网络通信的安全基石,其性能直接影响着整个系统的吞吐量和响应时间。特别是在像Pingora这样的高性能代理/服务器框架中,TLS握手、加密解密等操作的开销需要被精确测量和持续优化。
测试方案选型
经过对比多种测试工具后,我们选择了基于valgrind的iai_callgrind方案,相比传统的criterion基准测试框架,它具有以下优势:
- 测试结果稳定性高,关键指标如指令数、缓存命中率的波动通常小于1%
- 支持全面的性能分析,包括指令计数、缓存命中、内存访问等维度
- 可扩展性强,能够集成内存分析工具如dhat
测试架构设计
我们构建了一个完整的测试环境,包含以下组件:
- Pingora回声服务器:作为被测试的TLS终端,编译时启用release模式和示例代码
- 测试客户端:负责发送测试请求并收集性能数据
- 协调机制:确保服务器启动后再执行测试用例
测试场景模拟了256个请求,每个请求包含64字节ASCII字符的负载,这种配置能够充分反映TLS处理的实际工作负载。
测试结果分析
多次测试运行显示,关键性能指标表现出极高的稳定性:
- 指令总数波动:±0.003%范围内
- L1缓存命中波动:±0.003%范围内
- 总读写量波动:±0.003%范围内
- 估计周期数波动:±0.002%范围内
虽然内存访问指标(RAM Hits)偶尔会出现约0.14%的波动,但这在包含网络I/O和异步调用的测试中属于正常现象。
技术挑战与解决方案
在实现过程中,我们遇到了iai_callgrind框架对客户端-服务器测试场景支持不足的问题。通过扩展框架功能,我们实现了:
- 支持在基准测试二进制启动后执行自定义Rust函数
- 完善的测试协调机制,确保服务器就绪后才开始测试
- 多维度性能数据采集和分析能力
未来展望
这套基准测试体系将为Pingora项目的TLS性能优化提供坚实基础,特别是在:
- 评估不同TLS后端(如OpenSSL、rustls等)的性能差异
- 识别和优化TLS处理中的性能瓶颈
- 验证性能优化措施的实际效果
通过持续完善的基准测试,我们可以确保Pingora在提供强大安全功能的同时,保持卓越的性能表现。
登录后查看全文
热门项目推荐
相关项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0171
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook090
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
BitCPM-CANN-8BBitCPM-CANN 是首个基于华为昇腾 NPU 原生构建的端到端 1.58 位(三值化)大语言模型训练系统。该系统将量化感知训练(QAT)集成到 Megatron-LM 框架中,并结合 MindSpeed 加速,覆盖了从自定义三值算子到基于昇腾 910B 的分布式并行训练的完整训练栈。Python00
MiniCPM5-1BMiniCPM5-1B,这是 MiniCPM5 系列的首款模型。它是一个专为端侧、本地部署和资源受限场景打造的 10 亿参数密集型 Transformer 模型,达到了 10 亿参数级开源模型的 SOTA 水平Jinja00
skillhubopenJiuwen 生态的 Skill 托管与分发开源方案,支持自建与可选 ClawHub 兼容。Python0239
项目优选
收起
暂无描述
Dockerfile
748
4.85 K
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
640
1.26 K
Ascend Extension for PyTorch
Python
684
824
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
832
1.82 K
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
449
412
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.02 K
1.03 K
Claude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed.
Get Started
Rust
1.49 K
171
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Python
927
553
暂无简介
Dart
995
256
昇腾LLM分布式训练框架
Python
172
211